(57)【特許請求の範囲】
【請求項１】
少なくとも１つの被写体の被写体画像から、前記被写体の複数の特徴点に関する点群データを抽出する手段を備え、
前記点群データを参照して、被写体モデルのモデル画像を生成する手段を備え、
前記モデル画像は、前記複数の特徴点のそれぞれに対応するノードを含み、
前記被写体画像に前記モデル画像を重畳させることにより、第１合成画像を生成する手段を備え、
前記第１合成画像をディスプレイに表示させる手段を備え、
前記ディスプレイに表示された第１合成画像に含まれるモデル画像の少なくとも１つのノードの位置を変更するユーザ操作に対応するユーザ指示を取得する手段を備え、
前記ユーザ指示に対応付けられたノードに対応する特徴点に割り当てられた座標を変更することにより、前記モデル画像を変更する手段を備え、
前記被写体画像に変更後のモデル画像を重畳させることにより、第２合成画像を生成する手段を備え、
前記第２合成画像を前記ディスプレイに表示させる手段を備える、
情報処理装置。
【請求項２】
前記被写体は人物であり、
前記ユーザ指示を取得する手段は、各特徴点の座標を変更するユーザ指示を取得し、
前記モデル画像を生成する手段は、前記人物の骨格モデルのモデル画像を生成し、
前記変更する手段は、前記ユーザ指示に対応付けられたノードに対応する特徴点に割り当てられた座標を変更することにより、前記被写体画像の画像空間における前記骨格モデルの姿勢を変更する、
請求項１に記載の情報処理装置。
【請求項３】
前記被写体は物体であり、
前記ユーザ指示を取得する手段は、各特徴点の座標を変更するユーザ指示を取得し、
前記モデル画像を生成する手段は、前記物体の骨格モデルのモデル画像を生成し、
前記変更する手段は、前記ユーザ指示に対応付けられたノードに対応する特徴点に割り当てられた座標を変更することにより、前記被写体画像の画像空間における前記骨格モデルの形状の変更を実施する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記モデル画像を生成する手段は、各特徴点の３次元座標を推定し、
前記ユーザ指示を取得する手段は、前記ユーザ指示に対応付けられた特徴点の３次元座標を変更するユーザ指示を取得し、
前記変更する手段は、前記ユーザ指示に対応する３次元座標を変更することにより、前記被写体画像の画像空間における前記被写体モデルの回転、及び、形状の変更の少なくとも１つを実施する、請求項１〜３の何れかに記載の情報処理装置。
【請求項５】
前記ユーザ指示を取得する手段は、タッチパネルディスプレイに表示された第１合成画像又は第２合成画像に含まれるモデル画像に対するタッチパネル操作に応じて、前記ユーザ指示を取得する、
請求項１〜４の何れかに記載の情報処理装置。
【請求項６】
前記ユーザ指示を取得する手段は、前記被写体に応じた制約の範囲内のユーザ指示を取得する、
請求項１〜５の何れかに記載の情報処理装置。
【請求項７】
前記ユーザ指示を取得する手段は、前記被写体画像が複数の被写体を含む場合、前記取得する手段は、ユーザによって指定された被写体に対応するモデル画像に対するユーザ指示を取得する、
請求項１〜６の何れかに記載の情報処理装置。
【請求項８】
前記被写体画像は動画像であり、
前記第１合成画像を生成する手段は、複数の被写体画像フレームに複数のモデル画像フレームを重畳させることにより、第１合成動画像を生成し、
前記第２合成画像を生成する手段は、各被写体画像フレームに各変更後のモデル画像フレームを重畳させることにより、第２合成動画像を生成する、
請求項１〜７の何れかに記載の情報処理装置。
【請求項９】
前記第２合成画像を生成する手段は、複数の変更後のモデル画像フレームに対応する被写体モデルの動きを補間する、
請求項８に記載の情報処理装置。
【請求項１０】
前記ユーザ指示を取得する手段は、前記第１合成動画像の再生中のユーザ操作に対応するユーザ指示を取得する、
請求項８又は９に記載の情報処理装置。
【請求項１１】
前記ユーザ指示を取得する手段は、前記第１合成動画像に含まれる複数のモデル画像フレームのうち、前記ユーザ操作が与えられたときに表示されていたモデル画像フレームに対するユーザ指示を取得し、
前記モデル画像を変更する手段は、前記取得されたユーザ指示に対応するモデル画像フレームの被写体モデル画像を変更する、
請求項８に記載の情報処理装置。
【請求項１２】
コンピュータを、請求項１〜１１の何れかに記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、コーチングのニーズが増加傾向にある。例えば、介護の分野において介護者の増員のために、トレーナ（例えば、経験のある介護者）によるトレーニ（例えば、初心者）に対する介護動作のコーチングのニーズが高まっている。
【０００３】
例えば、特許文献１は、スポーツのフォームを効率的に学習する方法として、トレーニの動画像と、あらかじめ用意された手本の動画像と、を重ねて表示する方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３０６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、学習効果を向上させるためには、トレーナがトレーニの動作を矯正することが有用である。
【０００６】
しかし、特許文献１のように、トレーニの動画像と手本の動画像を重ねて表示するだけでは、トレーナが修正のアドバイスを提供することはできない。そのため、コーチングにおけるトレーニの学習効果及びトレーナの指導効率が不十分である。
【０００７】
本発明の目的は、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様は、
少なくとも１つの被写体の被写体画像から、前記被写体の複数の特徴点に関する点群データを抽出する手段を備え、
前記点群データを参照して、被写体モデルのモデル画像を生成する手段を備え、
前記被写体画像に前記モデル画像を重畳させることにより、第１合成画像を生成する手段を備え、
前記第１合成画像をディスプレイに表示させる手段を備え、
前記ディスプレイに表示された第１合成画像に含まれるモデル画像に対するユーザ操作に対応するユーザ指示を取得する手段を備え、
前記ユーザ指示を参照して、前記モデル画像を変更する手段を備え、
前記被写体画像に変更後のモデル画像を重畳させることにより、第２合成画像を生成する手段を備え、
前記第２合成画像を前記ディスプレイに表示させる手段を備える、
情報処理装置である。
【発明の効果】
【０００９】
本発明によれば、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の情報処理システムの構成を示すブロック図である。
【図２】図１の情報処理システムの機能ブロック図である。
【図３】本実施形態の概要の説明図である。
【図４】本実施形態のトレーニ情報データベースのデータ構造を示す図である。
【図５】本実施形態のトレーナ情報データベースのデータ構造を示す図である。
【図６】本実施形態の合成画像情報データベースのデータ構造を示す図である。
【図７】本実施形態の合成画像の生成の処理のシーケンス図である。
【図８】図７の情報処理において表示される画面例を示す図である。
【図９】図７の情報処理において表示される画面例を示す図である。
【図１０】図７の情報処理において表示される画面例を示す図である。
【図１１】本実施形態の合成画像の表示の処理のシーケンス図である。
【図１２】図１１の情報処理において表示される画面例を示す図である。
【図１３】変形例３の被写体モデルの変更の第１例の詳細なフローチャートである。
【図１４】図１３の情報処理の説明図である。
【図１５】変形例３の被写体モデルの変更の第２例の詳細なフローチャートである。
【図１６】変形例４の画面例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１２】
（１）情報処理システムの構成
情報処理システムの構成を説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。図２は、図１の情報処理システムの機能ブロック図である。
【００１３】
図１に示すように、情報処理システム１は、第１クライアント装置１０と、第２クライアント装置２０と、サーバ３０とを備える。
第１クライアント装置１０、第２クライアント装置２０、及び、サーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
【００１４】
第１クライアント装置１０及び第２クライアント装置２０は、サーバ３０にリクエストを送信するコンピュータ（「情報処理装置」の一例）である。第１クライアント装置１０及び第２クライアント装置２０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【００１５】
サーバ３０は、第１クライアント装置１０及び第２クライアント装置２０から送信されたリクエストに応じたレスポンスを、第１クライアント装置１０及び第２クライアント装置２０に提供するコンピュータ（「情報処理装置」の一例）である。サーバ３０は、例えば、ウェブサーバである。
【００１６】
（１−１）第１クライアント装置の構成
第１クライアント装置１０の構成を説明する。
【００１７】
図２に示すように、第１クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。
【００１８】
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【００１９】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム
【００２０】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
【００２１】
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、第１クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、これらの組み合わせである。
【００２２】
入出力インタフェース１３は、第１クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、且つ、第１クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ（一例として、タッチパネルディスプレイ）である。
【００２３】
通信インタフェース１４は、第２クライアント装置２０とサーバ３０との間の通信を制御するように構成される。
【００２４】
（１−２）第２クライアント装置の構成
第２クライアント装置２０の構成を説明する。
【００２５】
図２に示すように、第２クライアント装置２０は、記憶装置２１と、プロセッサ２２と、入出力インタフェース２３と、通信インタフェース２４とを備える。
【００２６】
記憶装置２１は、プログラム及びデータを記憶するように構成される。記憶装置２１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【００２７】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム
【００２８】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
【００２９】
プロセッサ２２は、記憶装置２１に記憶されたプログラムを起動することによって、第２クライアント装置２０の機能を実現するように構成される。プロセッサ２２は、例えば、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ、又は、これらの組み合わせである。
【００３０】
入出力インタフェース２３は、第２クライアント装置２０に接続される入力デバイスからユーザの指示を取得し、かつ、第２クライアント装置２０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ（一例として、タッチパネルディスプレイ）である。
【００３１】
通信インタフェース２４は、第２クライアント装置２０とサーバ３０との間の通信を制御するように構成される。
【００３２】
（１−３）サーバの構成
サーバ３０の構成を説明する。
【００３３】
図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
【００３４】
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【００３５】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
【００３６】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【００３７】
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、例えば、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ、又は、これらの組み合わせである。
【００３８】
入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【００３９】
通信インタフェース３４は、サーバ３０と、第１クライアント装置１０及び第２クライアント装置２０との間の通信を制御するように構成される。
【００４０】
（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。
【００４１】
図３に示すように、トレーニは、第１クライアント装置１０を使用する。トレーナは、第２クライアント装置２０を使用する。
【００４２】
第２クライアント装置２０は、以下の機能を有する。
・第１クライアント装置１０から、少なくとも１つの被写体の被写体画像（静止画像又は動画像）を取得する機能
・被写体画像から、被写体の複数の特徴点に関する点群データを抽出する機能
・点群データを参照して、被写体モデルのモデル画像を生成する機能
・被写体画像にモデル画像を重畳させることにより、第１合成画像を生成する機能
・第１合成画像をディスプレイに表示させる機能
・ディスプレイに表示された第１合成画像に含まれるモデル画像に対するユーザ操作に対応するユーザ指示を取得する機能
・ユーザ指示を参照して、モデル画像を変更することにより、変更後のモデル画像を生成する機能
・被写体画像に変更後のモデル画像を重畳させることにより、第２合成画像を生成する機能
・第１クライアント装置１０のディスプレイに第２合成画像を表示させる機能
【００４３】
（３）データベース
本実施形態のデータベースを説明する。以下のデータベースは、記憶装置３１に記憶される。
【００４４】
（３−１）トレーニ情報データベース
本実施形態のトレーニ情報データベースを説明する。図４は、本実施形態のトレーニ情報データベースのデータ構造を示す図である。
【００４５】
図４のトレーニ情報データベースには、トレーニに関するトレーニ情報が格納される。
トレーニ情報データベースは、以下のフィールドを含む。各フィールドは互いに関連付けられている。
・「トレーニＩＤ」フィールド
・「トレーニ名」フィールド
・「クライアントＩＤ」フィールド
【００４６】
「トレーニＩＤ」フィールドには、トレーニ識別情報が格納される。トレーニ識別情報は、トレーニを識別する情報である。
【００４７】
「トレーニ名」フィールドには、トレーニの名称（例えば、氏名又はニックネーム）に関する情報（例えば、テキスト）が格納される。
【００４８】
「クライアントＩＤ」フィールドには、トレーニが使用する第１クライアント装置１０を識別するクライアント識別情報が格納される。
【００４９】
（３−２）トレーナ情報データベース
本実施形態のトレーナ情報データベースを説明する。図５は、本実施形態のトレーナ情報データベースのデータ構造を示す図である。
【００５０】
図５のトレーナ情報データベースには、トレーナに関するトレーナ情報が格納される。
トレーナ情報データベースは、以下のフィールドを含む。各フィールドは互いに関連付けられている。
・「トレーナＩＤ」フィールド
・「トレーナ名」フィールド
・「クライアントＩＤ」フィールド
【００５１】
「トレーナＩＤ」フィールドには、トレーナ識別情報が格納される。トレーナ識別情報は、トレーナを識別する情報である。
【００５２】
「トレーナ名」フィールドには、トレーナの名称（例えば、氏名又はニックネーム）に関する情報（例えば、テキスト）が格納される。
【００５３】
「クライアントＩＤ」フィールドには、トレーナが使用する第２クライアント装置２０を識別するクライアント識別情報が格納される。
【００５４】
（３−３）合成画像情報データベース
本実施形態の合成画像情報データベースを説明する。図６は、本実施形態の合成画像情報データベースのデータ構造を示す図である。
【００５５】
図６の合成画像情報データベースは、「画像ＩＤ」フィールドと、「トレーニＩＤ」フィールドと、「トレーナＩＤ」フィールドと、「ユーザコメント」フィールドと、を含む。
【００５６】
「画像ＩＤ」フィールドには、画像識別情報が格納される。画像識別情報は、第２クライアント装置２０によって生成された第２合成画像を識別する情報である。
【００５７】
「トレーニＩＤ」フィールドには、第２合成画像の基礎となる被写体画像に対応するトレーニのトレーニ識別情報が格納される。
【００５８】
「トレーナＩＤ」フィールドには、第２合成画像の基礎となるモデル画像に対する変更の指示を与えたトレーナのトレーナ識別情報が格納される。
【００５９】
「ユーザコメント」フィールドには、ユーザコメントに関するユーザコメント情報が格納される。
【００６０】
（４）情報処理
本実施形態の情報処理を説明する。
【００６１】
（４−１）合成画像の生成の処理
本実施形態の合成画像の生成の処理を説明する。図７は、本実施形態の合成画像の生成の処理のシーケンス図である。図８は、図７の情報処理において表示される画面例を示す図である。図９は、図７の情報処理において表示される画面例を示す図である。図１０は、図７の情報処理において表示される画面例を示す図である。
【００６２】
図７の例では、トレーニは、第１クライアント装置１０を使用する。トレーナは、第２クライアント装置２０を使用する。
【００６３】
図７に示すように、第１クライアント装置１０は、コーチングリクエスト（Ｓ１１０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０（図８）をディスプレイに表示する。
【００６４】
画面Ｐ１０は、操作オブジェクトＢ１０と、フィールドオブジェクトＦ１０ａ〜Ｆ１０ｃと、を含む。
フィールドオブジェクトＦ１０ａは、記憶装置１１に記憶された画像の中から、コーチングの対象となる画像（以下「被写体画像」という）の指定を受け付けるオブジェクトである。被写体画像は、コーチングの対象となるコーチング対象動作（例えば、介護動作）を実施しているときのトレーニの画像（以下「被写体画像」という）を含む。被写体画像は、静止画像又は動画像である。
フィールドオブジェクトＦ１０ｂは、コーチングを担当するトレーナのトレーナ識別情報の指定を受け付けるオブジェクトである。
フィールドオブジェクトＦ１０ｃは、コーチングの対象となるトレーニ（例えば、第１クライアント装置１０を使用するトレーニ）のトレーニ識別情報の指定を受け付けるオブジェクトである。
操作オブジェクトＢ１０は、サーバ３０を介して被写体画像を第２クライアント装置２０に送信するためのユーザ指示を受け付けるオブジェクトである。
【００６５】
トレーニがフィールドオブジェクトＦ１０ａに表示された複数の画像の中から任意の画像を指定し、フィールドオブジェクトＦ１０ｂにおいてトレーナ識別情報を指定し、フィールドオブジェクトＦ１０ｃにおいてトレーニ識別情報を指定し、且つ、操作オブジェクトＢ１０を操作すると、プロセッサ１２は、コーチングリクエストデータをサーバ３０に送信する。コーチングリクエストデータは、以下の情報を含む。
・フィールドオブジェクトＦ１０ａにおいて指定された画像
・フィールドオブジェクトＦ１０ｂにおいて指定されたトレーナ識別情報
・フィールドオブジェクトＦ１０ｃにおいて指定されたトレーニ識別情報
【００６６】
ステップＳ１１０の後、サーバ３０は、コーチング通知（Ｓ１３０）を実行する。
具体的には、プロセッサ３２は、トレーニ情報データベース（図４）を参照して、ステップＳ１１０のコーチングリクエストデータに含まれるトレーニ識別情報に関連付けられた「トレーニ名」フィールドの情報（つまり、トレーナ名に関する情報）及び「クライアント識別情報」フィールドの情報（つまり、第１クライアント装置１０のクライアント識別情報）を特定する。
プロセッサ３２は、トレーナ情報データベース（図５）を参照して、ステップＳ１１０のコーチングリクエストデータに含まれるトレーナ識別情報に関連付けられた「トレーナ名」フィールドの情報（つまり、トレーナ名に関する情報）及び「クライアント識別情報」フィールドの情報（つまり、第２クライアント装置２０のクライアント識別情報）を特定する。
プロセッサ３２は、特定されたクライアント識別情報に対応する第２クライアント装置２０にコーチング通知データを送信する。コーチング通知データは、以下の情報を含む。
・コーチングリクエストデータに含まれる被写体画像
・特定されたトレーニ名に関する情報
【００６７】
ステップＳ１３０の後、第２クライアント装置２０は、被写体画像の表示（Ｓ１２０）を実行する。
具体的には、プロセッサ２２は、画面Ｐ２０（図９）をディスプレイに表示する。
【００６８】
画面Ｐ２０は、表示オブジェクトＡ２０ａ〜Ａ２０ｂと、操作オブジェクトＢ２０と、を含む。
表示オブジェクトＡ２０ａには、コーチング通知データに含まれるトレーニ名に関する情報が表示される。
表示オブジェクトＡ２０ｂには、画像ＩＭＧ２０が表示される。画像ＩＭＧ２０は、コーチング通知データに含まれる被写体画像である。
操作オブジェクトＢ２０は、被写体モデルの生成（Ｓ１２１）の実行指示を受け付けるオブジェクトである。
【００６９】
ステップＳ１２０の後、第２クライアント装置２０は、被写体モデルの生成（Ｓ１２１）を実行する。
具体的には、記憶装置２１には、モデル生成アルゴリズムが格納されている。モデル生成アルゴリズムには、被写体モデルを生成するためのルールが記述されている。被写体モデルとは、被写体（人物又は物体）の骨格の形状を表すモデルである。被写体モデルは、例えば、被写体の骨格のみで表現されるモデル、又は、被写体の骨格及び骨格に肉付けされた部位の組合せで表現されるモデルである。モデル生成アルゴリズムは、人物モデル生成アルゴリズムと、物体モデル生成アルゴリズムと、を含む。
人物モデル生成アルゴリズムは、被写体が人物である場合の骨格の特徴点を特定するためのルールが記述されている。
物体モデル生成アルゴリズムは、被写体が物体である場合の骨格の特徴点を特定するためのルールが記述されている。
【００７０】
ユーザが操作オブジェクトＢ２０を操作すると、プロセッサ２２は、モデル生成アルゴリズムを用いて、画像ＩＭＧ２０から点群データを抽出する。点群データは、被写体の複数の特徴点に関するデータである。点群データは、各特徴点の２次元座標を含む。２次元座標は、被写体画像の画像空間における座標系（以下「基準座標系」という）で規定される。
プロセッサ２２は、各特徴点を結ぶ特徴線を生成する。
プロセッサ２２は、複数の特徴点と、複数の特徴線と、各特徴点の２次元座標と、を合成することにより、モデル画像を生成する。
【００７１】
ステップＳ１２１の後、第２クライアント装置２０は、第１合成画像の生成（Ｓ１２２）を実行する。
具体的には、プロセッサ２２は、コーチング通知データに含まれる被写体画像に、ステップＳ１２１で得られたモデル画像を重畳させることにより、第１合成画像を生成する。
【００７２】
ステップＳ１２２の後、第２クライアント装置２０は、被写体モデルの変更（Ｓ１２３）を実行する。
具体的には、プロセッサ２２は、画面Ｐ２１（図９）をディスプレイに表示する。
【００７３】
記憶装置２１には、制約モデルが記憶されている。制約モデルには、被写体（人物又は物体）の動きの制約条件が記述されている。制約モデルは、人物制約モデルと、物体制約モデルと、を含む。
【００７４】
人物制約モデルには、人物の動作に関する制約条件が記述されている。人物制約モデルには、例えば、人物の姿勢の変化及び人物の位置について、ユーザによって指定されたノードの移動に応じて、ユーザによって指定されていないノードの移動が記述されている。制約条件は、例えば、以下の少なくとも１つを含む。
・人物の関節の可動角度の限界
・人物の関節の向きの限界
・人物の足は地面から離れない
・人物の重心は足の上方に配置される
【００７５】
物体制約モデルには、物体の動作に関する制約条件が記述されている。物体制約モデルには、物体の形状の変化及び物体の位置について、ユーザによって指定されたノードの移動に応じて、ユーザによって指定されていないノードの移動が記述されている。制約条件は、例えば、以下の少なくとも１つを含む。
・物体の可動域の限界
・物体の向きの限界
・物体の底面は地面から離れない
・物体の傾きの限界
【００７６】
画面Ｐ２１は、表示オブジェクトＡ２０ａ及びＡ２１と、操作オブジェクトＢ２１と、を含む。
表示オブジェクトＡ２１には、画像ＩＭＧ２１が表示される。画像ＩＭＧ２１は、ステップＳ１２２で得られた第１合成画像（つまり、被写体画像にモデル画像が重畳された画像）である。画像ＩＭＧ２１は、特徴点に対応するノードオブジェクトＦＮと、特徴線に対応するリンクオブジェクトＦＬと、を含む。ノードオブジェクトＦＮは、人物制約モデル又は物体制約モデルに記述された制約条件の範囲内において、移動可能に構成される。つまり、プロセッサ２２は、被写体に応じた制約の範囲内のユーザ指示を取得する。
操作オブジェクトＢ２１は、被写体モデルの変更の実行指示を受け付けるオブジェクトである。
【００７７】
ステップＳ１２３の第１例では、トレーナが、画面Ｐ２１（図１０）の画像ＩＭＧ２１に対して、全てのノードオブジェクトＦＮの位置を変更するためのタッチパネル操作（例えば、スワイプ、ピンチイン、ピンチアウト、及び、スライドの少なくとも１つ）を与えると、プロセッサ２２は、全てのノードオブジェクトＦＮに対応する特徴点の座標を変更するためのユーザ指示を取得する。
このユーザ指示は、モデル画像の位置を変更するための指示に相当する。
【００７８】
ステップＳ１２３の第２例では、トレーナが、画面Ｐ２１（図１０）の画像ＩＭＧ２１に対して、一部のノードオブジェクトＦＮａの位置を変更するためのタッチパネル操作を与えると、プロセッサ２２は、ノードオブジェクトＦＮａに対応する特徴点の座標を変更するためのユーザ指示を取得する。
このユーザ指示は、被写体が人物である場合、モデル画像の姿勢を変更するための指示に相当する。
このユーザ指示は、被写体が物体である場合、モデル画像の形状を変更するための指示に相当する。
【００７９】
プロセッサ２２は、取得されたユーザ指示に対応するノードオブジェクトＦＮの位置に応じて、ノードオブジェクトＦＮに対応する特徴点に割り当てられた２次元座標を変更する。
プロセッサ２２は、ユーザ指示に対応するノードオブジェクトＦＮの位置に応じて、ノードオブジェクトＦＮに接続されたリンクオブジェクトＦＬを変更する。
被写体が人物である場合、被写体画像の画像空間における骨格モデルの位置及び姿勢の少なくとも１つが変更される。
被写体が物体である場合、被写体画像の画像空間における骨格モデルの位置及び形状の少なくとも１つが変更される。
【００８０】
これにより、変更後のノードオブジェクトＦＮ及びリンクオブジェクトＦＬの組合せに対応する被写体モデル（以下「変更後の被写体モデル」という）が得られる。
【００８１】
ステップＳ１２３の後、第２クライアント装置２０は、第２合成画像の生成（Ｓ１２４）を実行する。
具体的には、プロセッサ２２は、コーチング通知データに含まれる被写体画像に、ステップＳ１２３で得られた変更後の被写体モデルを重畳させることにより、第２合成画像を生成する。
【００８２】
ステップＳ１２４の後、第２クライアント装置２０は、ユーザコメントの受付（Ｓ１２５）を実行する。
具体的には、プロセッサ２２は、画面Ｐ２２（図１０）をディスプレイに表示する。
【００８３】
画面Ｐ２２は、表示オブジェクトＡ２０ａ及びＡ２２と、操作オブジェクトＢ２２と、フィールドオブジェクトＦ２２と、を含む。
表示オブジェクトＡ２２には、画像ＩＭＧ２２が表示される。画像ＩＭＧ２２は、ステップＳ１２４で得られた第２合成画像である。
フィールドオブジェクトＦ２２は、トレーナのユーザコメントに関するユーザ指示を受け付けるオブジェクトである。トレーナのユーザコメントは、例えば、トレーナによるトレーニに対する助言である。
操作オブジェクトＢ２２は、第２合成画像データの送信（Ｓ１２６）の実行指示を受け付けるオブジェクトである。
【００８４】
ステップＳ１２５の後、第２クライアント装置２０は、第２合成画像データの送信（Ｓ１２６）を実行する。
具体的には、トレーナがフィールドオブジェクトＦ２２にユーザコメントを入力し、且つ、操作オブジェクトＢ２２を操作すると、プロセッサ２２は、第２合成画像データをサーバ３０に送信する。第２合成画像データは、以下の情報を含む。
・ステップＳ１２４で得られた第２合成画像
・フィールドオブジェクトＦ２２に入力されたトレーナのユーザコメントに関するユーザコメント情報
【００８５】
ステップＳ１２６の後、サーバ３０は、第２合成画像の保存（Ｓ１３１）を実行する。
具体的には、プロセッサ３２は、合成画像情報データベース（図６）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「画像ＩＤ」フィールドには、新規の画像識別情報が格納される。
・「トレーニＩＤ」フィールドには、コーチングリクエストデータに含まれるトレーニ識別情報が格納される。
・「トレーナＩＤ」フィールドには、コーチングリクエストデータに含まれるトレーナ識別情報が格納される。
・「ユーザコメント」フィールドには、第２合成画像データに含まれるユーザコメント情報が格納される。
【００８６】
（４−２）合成画像の表示の処理
本実施形態の合成画像の表示の処理を説明する。図１１は、本実施形態の合成画像の表示の処理のシーケンス図である。図１２は、図１１の情報処理において表示される画面例を示す図である。
【００８７】
図１１に示すように、第１クライアント装置１０は、表示リクエスト（Ｓ１１１）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１１（図１２）をディスプレイに表示する。
【００８８】
画面Ｐ１１は、操作オブジェクトＢ１１と、フィールドオブジェクトＦ１１と、を含む。
フィールドオブジェクトＦ１１には、表示可能な第２合成画像のファイル名のリストが表示される。リストに含まれる各ファイル名には、画像識別情報が割り当てられている。フィールドオブジェクトＦ１１は、リストに含まれる第２合成画像の中から表示すべき第２合成画像（以下「表示対象画像」という）を指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトＢ１１は、フィールドオブジェクトＦ１１に指定された表示対象画像を確定させるためのユーザ指示を受け付けるオブジェクトである。
【００８９】
ユーザがフィールドオブジェクトＦ１１に表示されたリストに含まれる第２合成画像の中から任意の第２合成画像のファイル名を指定し、且つ、操作オブジェクトＢ１１を操作すると、プロセッサ１２は、表示リクエストデータをサーバ３０に送信する。表示リクエストデータは、以下の情報を含む。
・フィールドオブジェクトＦ１１で指定されたファイル名に割り当てられた画像識別情報
【００９０】
ステップＳ１１１の後、サーバ３０は、表示レスポンス（Ｓ１３２）を実行する。
具体的には、プロセッサ３２は、合成画像情報データベース（図６）を参照して、表示リクエストデータに含まれる画像識別情報に関連付けられたトレーナ識別情報及びユーザコメント情報を特定する。
プロセッサ３２は、トレーナ情報データベース（図５）を参照して、特定したトレーナ識別情報に関連付けられたトレーナ名に関する情報を特定する。
プロセッサ３２は、表示レスポンスデータを第１クライアント装置１０に送信する。表示レスポンスデータは、以下の情報を含む。
・特定されたトレーナ名に関する情報
・表示対象となる第２合成画像
・特定されたユーザコメント情報
【００９１】
ステップＳ１３２の後、第１クライアント装置１０は、第２合成画像の表示（Ｓ１１２）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１２（図１０）をディスプレイに表示する。
【００９２】
画面Ｐ１２は、表示オブジェクトＡ１２ａ〜Ａ１２ｃを含む。
【００９３】
画面Ｐ１２は、表示オブジェクトＡ１２ａ〜Ａ１２ｃを含む。
表示オブジェクトＡ１２ａには、表示レスポンスデータに含まれるトレーナ名に関する情報が表示される。
表示オブジェクトＡ１２ｂには、画像ＩＭＧ２２が表示される。画像ＩＭＧ２２は、表示レスポンスデータに含まれる第２合成画像である。
表示オブジェクトＡ１２ｃには、表示レスポンスデータに含まれるユーザコメント情報に含まれるユーザコメントが表示される。
【００９４】
本実施形態によれば、トレーナが使用する第２クライアント装置２０が第２合成画像を生成する。第２合成画像は、トレーナの指示に応じた被写体モデルと被写体画像とが重畳された画像である。これにより、トレーナの指導効率を向上させることができる。
また、トレーニが使用する第１クライアント装置１０は、トレーニに対して、第２合成画像を提示する。これにより、トレーニの学習効果を向上させることができる。
このように、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【００９５】
また、本実施形態によれば、被写体が人物である場合、人物の骨格モデルの位置及び姿勢の少なくとも１つが変更された被写体モデルを生成する。これにより、人物に関するコーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【００９６】
また、本実施形態によれば、被写体が物体である場合、物体の骨格モデルの位置及び形状の少なくとも１つが変更された被写体モデルを生成する。これにより、物体に関するコーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【００９７】
また、本実施形態によれば、タッチパネル操作を介して、被写体モデルを変更するためのユーザ指示を受け付ける。これにより、トレーナは直感的な操作で被写体モデルを変更することができる。その結果、トレーナの指導効率が更に向上する。
【００９８】
また、本実施形態によれば、制約条件の範囲内で被写体モデルを変更する。これにより、トレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【００９９】
（５）変形例
本実施形態の変形例を説明する。
【０１００】
（５−１）変形例１
変形例１を説明する。変形例１は、３次元情報を含むモデル画像を生成する例である。
【０１０１】
変形例１の記憶装置２１には、３次元座標推定アルゴリズムが記憶されている。３次元座標推定アルゴリズムには、画像の特徴量に基づいて、画像の特徴点の２次元座標を３次元座標に変換するためのルールが記述されている。
【０１０２】
ステップＳ１２１（図７）において、プロセッサ２２は、モデル生成アルゴリズムを用いて、画像ＩＭＧ２０から点群データを抽出する。
プロセッサ２２は、３次元座標推定アルゴリズムを用いて、抽出された点群データに含まれる各特徴点の２次元座標を３次元座標に変換する。３次元座標は、基準座標系で規定される。
プロセッサ２２は、各特徴点を結ぶ特徴線を生成する。
プロセッサ２２は、複数の特徴点と、複数の特徴線と、各特徴点の２次元座標と、を合成することにより、モデル画像を生成する。
【０１０３】
ステップＳ１２３（図７）において、トレーナが、画面Ｐ２１（図１０）の画像ＩＭＧ２１に対して、一部のノードオブジェクトＦＮａの位置を変更するためのタッチパネル操作を与えると、プロセッサ２２は、ノードオブジェクトＦＮａに対応する特徴点の３次元座標を変更するためのユーザ指示を取得する。
このユーザ指示は、モデル画像を回転させるための指示に相当する。
【０１０４】
ステップＳ１２３（図７）において、プロセッサ２２は、ステップＳ１２３で得られたユーザ指示に対応するノードオブジェクトＦＮａの位置に応じて、ノードオブジェクトＦＮａに対応する特徴点に割り当てられた３次元座標を変更する。
プロセッサ２２は、ユーザ指示に対応するノードオブジェクトＦＮａの位置に応じて、ノードオブジェクトＦＮに接続されたリンクオブジェクトＦＬを変更する。
これにより、被写体画像の画像空間における骨格モデルの角度が変更される。
【０１０５】
変形例１によれば、トレーナの指示に応じて、３次元空間におけるモデル画像を生成する。これにより、３次元空間におけるコーチング（例えば、回転に関するコーチング）を提供することができる。その結果、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上可能な環境を提供することができる。
【０１０６】
（５−２）変形例２
変形例２を説明する。変形例２は、被写体画像が複数の被写体を含む例である。
【０１０７】
変形例２の第１例では、ステップＳ１２１（図７）において、プロセッサ２２は、被写体画像に含まれる全ての被写体に対応するモデル画像を生成する。
【０１０８】
ステップＳ１２３（図７）において、プロセッサ２２は、少なくとも１つの被写体（例えば、ユーザが任意に指定した被写体）に対応するモデル画像に対するユーザ指示を取得する。
【０１０９】
変形例２の第２例では、ステップＳ１２１（図７）において、プロセッサ２２は、被写体画像に含まれ複数の被写体のうち、ユーザが任意に指定した少なくとも１つの被写体に対応するモデル画像を生成する。
【０１１０】
変形例２によれば、被写体画像が複数の被写体画像を含む場合であっても、本実施形態と同様の効果が得られる。
【０１１１】
（５−３）変形例３
変形例３を説明する。変形例３は、被写体画像が動画像（つまり、複数の被写体画像フレームから構成される画像）である場合の例である。
【０１１２】
変形例３では、ステップＳ１２０（図７）の後、第２クライアント装置２０は、被写体モデルの生成（Ｓ１２１）を実行する。
具体的には、プロセッサ２２は、被写体画像フレーム毎のモデル画像のフレーム（以下「モデル画像フレーム」という）を生成する。これにより、複数のモデル画像フレームから構成されるモデル動画像が得られる。
【０１１３】
ステップＳ１２１の後、第２クライアント装置２０は、第１合成画像の生成（Ｓ１２２）を実行する。
具体的には、プロセッサ２２は、コーチング通知データに含まれる被写体画像に、ステップＳ１２１で得られたモデル動画像を重畳させることにより、第１合成動画像を生成する。
【０１１４】
（５−３−１）被写体モデルの変更の第１例
変形例３の被写体モデルの変更の第１例を説明する。第１例は、被写体画像を静止させたまま、被写体モデルに対する変更の指示を受け付ける例である。
図１３は、変形例３の被写体モデルの変更の第１例の詳細なフローチャートである。図１４は、図１３の情報処理の説明図である。
【０１１５】
図１３に示すように、第２クライアント装置２０は、モデル画像フレーム毎のユーザ指示の取得（Ｓ２２３０）を実行する。
具体的には、ユーザが、変更の対象となるモデル画像フレームに割り当てられた時刻（例えば、時刻Ｔ１）を指定すると、プロセッサ２２は、時刻Ｔ１に対応するモデル画像フレーム（ＦＬＡＭＥ１）を表示オブジェクトＡ２１（図９）に表示する。
ユーザが、モデル画像フレーム（ＦＬＡＭＥ１）に対して、全てのノードオブジェクトＦＮ又は一部のノードオブジェクトＦＮａの位置を変更するためのタッチパネル操作を与えると、プロセッサ２２は、ユーザの操作に対応するノードオブジェクトに対応付けられた特徴点の座標（２次元座標又は３次元座標）を変更するためのユーザ指示を取得する。
【０１１６】
ステップＳ２２３０の後、第２クライアント装置２０は、ユーザ指示に応じた被写体モデルの生成（Ｓ２２３１）を実行する。
具体的には、プロセッサ２２は、ステップＳ２２３０で得られたユーザ指示に対応するノードオブジェクトＦＮの位置に応じて、モデル画像フレーム（ＦＬＡＭＥ１）のノードオブジェクトＦＮに対応する特徴点に割り当てられた座標を変更する。
プロセッサ２２は、ユーザ指示に対応するノードオブジェクトＦＮの位置に応じて、ノードオブジェクトＦＮに接続されたリンクオブジェクトＦＬを変更する。
これにより、被写体モデルの動画像（以下「モデル動画像」という）が得られる。モデル動画像は、変更後のノードオブジェクトＦＮ及びリンクオブジェクトＦＬの組合せに対応するモデル画像フレーム（以下「変更後のモデル画像フレーム」という）より構成される。
【０１１７】
Ｓ２２３１の後、第２クライアント装置２０は、被写体モデルの補完（Ｓ２２３２）を実行する。
具体的には、記憶装置２１には、補間アルゴリズムが記憶されている。補間アルゴリズムには、人物及び物体の動きのルールが記述されている。
プロセッサ２２は、ステップＳ２２３１で得られた被写体モデルに補間アルゴリズムを適用することにより、変更後のモデル画像フレーム間に補間フレームを挿入する。補間フレームは、複数の変更後のモデル画像フレームに対応する被写体の動きを補間するフレームである。
これにより、変更後のモデル画像フレーム及び補間フレームの組合せから構成されるモデル動画像（以下「変更後のモデル動画像」という）が得られる。
【０１１８】
ステップＳ２２３２の後、第２クライアント装置２０は、図７の第２合成画像の生成（Ｓ１２４）を実行する。
具体的には、プロセッサ２２は、コーチング通知データに含まれる被写体画像に、ステップＳ２２３２で得られた変更後のモデル動画像を重畳させることにより、第２合成動画像を生成する。
【０１１９】
（５−３−２）被写体モデルの変更の第２例
変形例３の被写体モデルの変更の第２例を説明する。第２例は、被写体画像を再生させたまま、被写体モデルに対する変更の指示を受け付ける例である。
図１５は、変形例３の被写体モデルの変更の第２例の詳細なフローチャートである。
【０１２０】
図１５に示すように、第２クライアント装置２０は、被写体画像の再生の開始（Ｓ３２３０）を実行する。
具体的には、ユーザが、表示オブジェクトＡ２０ｂ（図９）の所定領域にタッチパネル操作（例えば、タップ）を与えると、プロセッサ２２は、被写体画像の再生を開始する。
【０１２１】
ステップＳ３２３０の後、第２クライアント装置２０は、変形例３の第１例（図１３）と同様に、各モデル画像フレームに対するユーザ指示の取得（Ｓ２２３０）を実行する。これにより、ユーザ操作が与えられたときに表示されていたモデル画像フレームに対するユ−ザ指示が得られる。
【０１２２】
ステップＳ２２３０の後、第２クライアント装置２０は、被写体画像の再生の停止（Ｓ３２３１）を実行する。
具体的には、ユーザが、操作オブジェクトＢ２１（図１０）を操作すると、プロセッサ２２は、被写体画像の再生を停止する。
【０１２３】
ステップＳ３２３１の後、第２クライアント装置２０は、変化例３の第１例（図１３）と同様に、ユーザ指示に応じた被写体モデルの生成（Ｓ２２３１）、動きの補間（Ｓ２２３２）、及び、第２合成画像の生成（Ｓ１２４）を実行する。
【０１２４】
変形例３によれば、動画像に対応する被写体モデルを変更する。これにより、動きのコーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【０１２５】
また、変形例３によれば、変更後のモデル画像フレームの間を補間するための補間フレームを生成する。これにより、動きが滑らかなモデル動画像を提供することができる。
【０１２６】
変形例３の第２例によれば、動画像を再生しながら、動画像に対応する被写体モデルを変更する。これにより、動きのコーチングにおけるトレーナの指導効率を向上可能な環境を提供することができる。
【０１２７】
なお、変形例３では、２つのモデル画像フレーム（ＦＬＡＭＥ１〜ＦＬＡＭＥ２）に対するユーザ指示を取得する例を示したが、ユーザ指示に対応するモデル画像フレームの数はこれに限られない。変形例３は、３つ以上のモデル画像フレームに対するユーザ指示が与えられる場合にも適用可能である。
【０１２８】
変形例３の第２例では、被写体画像の再生の開始（Ｓ３２３０）の後に、モデル画像フレーム毎のユーザ指示の取得（Ｓ２２３０）を実行する例を示したが、ステップＳ３２３０及びＳ２２３０の実行順はこれに限られない。変形例２は、あるモデル画像フレームに対するユーザ指示を取得した後に、ステップＳ２２３０において、被写体画像の再生を開始しても良い。この場合、第２クライアント装置２０は、ステップＳ３２３０の後、当該モデル画像フレーム以外のモデル画像フレームに対するユーザ指示を取得する。
【０１２９】
（５−４）変形例４
変形例４を説明する。変形例４は、トレーニのユーザコメントを受け付ける例である。図１６は、変形例４の画面例を示す図である。
【０１３０】
変形例４のプロセッサ１２は、ステップＳ１１１（図７）において、画面Ｐ４１（図１６）をディスプレイに表示する。
【０１３１】
画面Ｐ４１は、表示オブジェクトＡ４１ａ〜Ａ４１ｂと、フィールドオブジェクトＦ４１と、操作オブジェクトＢ４１と、を含む。
フィールドオブジェクトＦ４１には、第２合成画像データに含まれるユーザコメントが表示される。フィールドオブジェクトＦ４１は、トレーニのユーザコメントに関するユーザ指示を受け付けるオブジェクトである。トレーニのユーザコメントは、例えば、トレーニによるトレーナに対する質問、及び、トレーナのユーザコメントに対するトレーニによる応答である。
操作オブジェクトＢ４１は、フィールドオブジェクトＦ４１に与えられたトレーニのユーザコメントを第２クライアント装置２０に送信するためのユーザ指示を受け付けるオブジェクトである。
【０１３２】
トレーニがフィールドオブジェクトＦ４１にユーザコメントを入力し、且つ、操作オブジェクトＢ４１を操作すると、プロセッサ１２は、フィールドオブジェクトＦ４１に入力されたユーザコメントをサーバ３０に送信する。
【０１３３】
サーバ３０は、第１クライアント装置１０から送信されたユーザコメントを第２クライアント装置２０に送信する。
【０１３４】
プロセッサ２２は、サーバ３０から送信されたユーザコメントをディスプレイ（例えば、画面Ｐ２２（図１０）のフィールドオブジェクトＦ２２）に表示する。
【０１３５】
変形例４によれば、トレーナのユーザコメントだけでなく、トレーニのユーザコメントも取得する。これにより、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上可能な環境を提供することができる。
【０１３６】
（６）本実施形態の小括
本実施形態について小括する。
【０１３７】
本実施形態の第１態様は、
少なくとも１つの被写体の被写体画像から、被写体の複数の特徴点に関する点群データを抽出する手段（例えば、ステップ）を備え、
点群データを参照して、被写体モデルのモデル画像を生成する手段を備え、
被写体画像にモデル画像を重畳させることにより、第１合成画像を生成する手段を備え、
第１合成画像をディスプレイに表示させる手段を備え、
ディスプレイに表示された第１合成画像に含まれるモデル画像に対するユーザ操作に対応するユーザ指示を取得する手段を備え、
ユーザ指示を参照して、モデル画像を変更する手段を備え、
被写体画像に変更後のモデル画像を重畳させることにより、第２合成画像を生成する手段を備え、
第２合成画像をディスプレイに表示させる手段を備える、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１３８】
第１態様によれば、被写体画像と、トレーナの指示に応じて変更されたモデル画像と、を合成することにより、第２合成画像を生成し、且つ、第２合成画像をトレーニに表示する。これにより、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【０１３９】
本実施形態の第２態様は、
被写体は人物であり、
ユーザ指示を取得する手段は、各特徴点の座標を変更するユーザ指示を取得し、
モデル画像を生成する手段は、人物の骨格モデルのモデル画像を生成し、
変更する手段は、ユーザ指示を参照して、被写体画像の画像空間における骨格モデルの位置及び姿勢の少なくとも１つを変更する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１４０】
第２態様によれば、人物の骨格モデルの位置及び姿勢の少なくとも１つが変更された被写体モデルを生成する。これにより、人物に関するコーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【０１４１】
本実施形態の第３態様は、
被写体は物体であり、
ユーザ指示を取得する手段は、各特徴点の座標を変更するユーザ指示を取得し、
モデル画像を生成する手段は、物体の骨格モデルのモデル画像を生成し、
変更する手段は、ユーザ指示を参照して、被写体画像の画像空間における骨格モデルの位置及び形状の少なくとも１つの変更を実施する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１４２】
第３態様によれば、物体の骨格モデルの位置及び形状の少なくとも１つが変更された被写体モデルを生成する。これにより、物体に関するコーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【０１４３】
本実施形態の第４態様は、
モデル画像を生成する手段は、各特徴点の３次元座標を推定し、
ユーザ指示を取得する手段は、各特徴点の３次元座標を変更するユーザ指示を取得し、
変更する手段は、ユーザ指示を参照して、被写体画像の画像空間における被写体モデルの回転、位置の変更、及び、形状の変更の少なくとも１つを実施する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１４４】
第４態様によれば、トレーナの指示に応じて、３次元空間におけるモデル画像を生成する。これにより、３次元空間におけるコーチング（例えば、回転に関するコーチング）を提供することができる。その結果、コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【０１４５】
本実施形態の第５態様は、
ユーザ指示を取得する手段は、タッチパネルディスプレイに表示された第１合成画像又は第２合成画像に含まれるモデル画像に対するタッチパネル操作に応じて、ユーザ指示を取得する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１４６】
第５態様によれば、タッチパネル操作を介して、被写体モデルを変更するためのユーザ指示を受け付ける。これにより、トレーナは直感的な操作で被写体モデルを変更することができる。その結果、トレーナの指導効率が更に向上する。
【０１４７】
本実施形態の第６態様は、
ユーザ指示を取得する手段は、被写体に応じた制約の範囲内のユーザ指示を取得する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１４８】
第６態様によれば、制約条件の範囲内で被写体モデルを変更する。これにより、トレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【０１４９】
本実施形態の第７態様は、
ユーザ指示を取得する手段は、被写体画像が複数の被写体を含む場合、取得する手段は、ユーザによって指定された被写体に対応するモデル画像に対するユーザ指示を取得する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１５０】
第７態様によれば、被写体画像が複数の被写体画像を含む場合であっても、人物に関するコーチングにおけるトレーニの学習効果及びトレーナの指導効率を更に向上させることができる。
【０１５１】
本実施形態の第８態様は、
被写体画像は動画像であり、
第１合成画像を生成する手段は、複数の被写体画像フレームに複数のモデル画像フレームを重畳させることにより、第１合成動画像を生成し、
第２合成画像を生成する手段は、各被写体画像フレームに各変更後のモデル画像フレームを重畳させることにより、第２合成動画像を生成する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１５２】
第８態様によれば、動画像に対応する被写体モデルを変更する。これにより、動きのコーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供することができる。
【０１５３】
本実施形態の第９態様は、
第２合成画像を生成する手段は、複数の変更後のモデル画像フレームに対応する被写体モデルの動きを補間する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１５４】
第９態様によれば、変更後のモデル画像フレームの間を補間するための補間フレームを生成する。これにより、動きが滑らかなモデル動画像を提供することができる。
【０１５５】
本実施形態の第１０態様は、
ユーザ指示を取得する手段は、第１合成動画像の再生中のユーザ操作に対応するユーザ指示を取得する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１５６】
第１０態様によれば、動画像を再生しながら、動画像に対応する被写体モデルを変更する。これにより、動きのコーチングにおけるトレーナの指導効率を向上可能な環境を提供することができる。
【０１５７】
本実施形態の第１１態様は、
ユーザ指示を取得する手段は、第１合成動画像に含まれる複数のモデル画像フレームのうち、ユーザ操作が与えられたときに表示されていたモデル画像フレームに対するユーザ指示を取得し、
モデル画像を変更する手段は、取得されたユーザ指示に対応するモデル画像フレームの被写体モデル画像を変更する、
情報処理装置（例えば、第２クライアント装置２０又はサーバ３０）である。
【０１５８】
第１１態様によれば、動画像を再生しながら、動画像に対応する被写体モデルを変更する。これにより、動きのコーチングにおけるトレーナの指導効率を向上可能な環境を提供することができる。
【０１５９】
本実施形態の第１２態様は、
コンピュータ（例えば、第２クライアント装置２０又はサーバ３０）を、上記の何れかの各手段として機能させるためのプログラムである。
【０１６０】
（７）その他の変形例
その他の変形例を説明する。
【０１６１】
記憶装置１１は、ネットワークＮＷを介して、第１クライアント装置１０と接続されてもよい。記憶装置２１は、ネットワークＮＷを介して、第２クライアント装置２０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
【０１６２】
サーバ３０は省略可能である。この場合、第１クライアント装置１０及び第２クライアント装置２０は、サーバ３０を経由することなく通信可能である。
【０１６３】
コーチング対象動作は介護動作に限られない。コーチング対象動作は、以下の動作も含む。
・スポーツの動作
・調理の動作
・対面営業の動作
・アナウンスの動作
・美容師又は理容師の動作
・その他の動きのある職業の動作
【０１６４】
本実施形態では、第２合成画像（つまり、被写体画像と変更後の被写体モデル画像とを重畳表示させた画像）をトレーニに提示する例を示したが、本実施形態の第２合成画像はこれに限られない。本実施形態は、被写体画像、変更前の被写体モデル画像、及び、変更後の被写体モデル画像が重畳表示された第２合成画像をトレーニに提示する場合にも適用可能である。
【０１６５】
本実施形態では、トレーニのリクエストに応じて第２合成画像を表示する例を示したが、本実施形態はこれに限られない。本実施形態は、トレーナのリクエストに応じて、第２合成画像を表示する場合（例えば、第２クライアント装置２０がステップＳ１１１を実行する場合）にも適用可能である。
【０１６６】
本実施形態では、被写体モデルがノードオブジェクトＦＮ及びリンクオブジェクトＦＬの組合せである例を示したが、本実施形態は、これに限られない。本実施形態は、ノードオブジェクトＦＮを含まない被写体モデルにも適用可能である。
【０１６７】
本実施形態では、第２クライアント装置２０がステップＳ１２１〜Ｓ１２５（図７）を実行する例を示したが、本実施形態は、これに限られない。本実施形態は、サーバ３０がステップＳ１２１〜Ｓ１２５を実行する場合にも適用可能である。この場合、ステップＳ１３０及びＳ１２６は省略可能である。
【０１６８】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【０１６９】
１          ：情報処理システム
１０        ：第１クライアント装置
１１        ：記憶装置
１２        ：プロセッサ
１３        ：入出力インタフェース
１４        ：通信インタフェース
２０        ：第２クライアント装置
２１        ：記憶装置
２２        ：プロセッサ
２３        ：入出力インタフェース
２４        ：通信インタフェース
３０        ：サーバ
３１        ：記憶装置
３２        ：プロセッサ
３３        ：入出力インタフェース
３４        ：通信インタフェース
【要約】
【課題】コーチングにおけるトレーニの学習効果及びトレーナの指導効率を向上可能な環境を提供する。
【解決手段】情報処理装置は、少なくとも１つの被写体の被写体画像から、被写体の複数の特徴点に関する点群データを抽出する手段を備え、点群データを参照して、被写体モデルのモデル画像を生成する手段を備え、被写体画像にモデル画像を重畳させることにより、第１合成画像を生成する手段を備え、第１合成画像をディスプレイに表示させる手段を備え、ディスプレイに表示された第１合成画像に含まれるモデル画像に対するユーザ操作に対応するユーザ指示を取得する手段を備え、ユーザ指示を参照して、モデル画像を変更する手段を備え、被写体画像に変更後のモデル画像を重畳させることにより、第２合成画像 を生成する手段を備え、第２合成画像をディスプレイに表示させる手段を備える。
【選択図】図３【図１】
0006647584.tif 000002
【図２】
0006647584.tif 000003
【図３】
0006647584.tif 000004
【図４】
0006647584.tif 000005
【図５】
0006647584.tif 000006
【図６】
0006647584.tif 000007
【図７】
0006647584.tif 000008
【図８】
0006647584.tif 000009
【図９】
0006647584.tif 000010
【図１０】
0006647584.tif 000011
【図１１】
0006647584.tif 000012
【図１２】
0006647584.tif 000013
【図１３】
0006647584.tif 000014
【図１４】
0006647584.tif 000015
【図１５】
0006647584.tif 000016
【図１６】
0006647584.tif 000017