(57)【要約】【課題】スマートフォン等の端末を用いてユーザが自らを撮影した画像を用いて、ユーザの健康状態の分析を実施し、その結果をユーザにフィードバック可能とすること。【解決手段】ユーザに操作される端末は、所定方向に関するガイダンスを出力し、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、端末が備える撮像部によって撮像される、所定方向に対するユーザの画像を取得し、画像に基づいて決定されるユーザの姿勢評価を出力する。ここでは、ユーザの姿勢評価は、所定方向に関連付けて特定される画像上のランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目について決定される。【選択図】図５
2019016254.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの姿勢を評価するための方法であって、前記ユーザに操作される端末による、
所定方向に関するガイダンスを出力するステップと、
前記ガイダンスとの相互作用による前記端末の姿勢調整操作を通じて、前記端末が備える撮像部によって撮像される、前記所定方向に対するユーザの画像を取得するステップと、
前記画像に基づいて決定される前記ユーザの姿勢評価を出力するステップと、
を含み、前記ユーザの姿勢評価が、前記所定方向に関連付けて特定される前記画像上のランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について決定される、方法。
【請求項２】
請求項１記載の方法において、前記端末が備える表示部に表示される前記ユーザの画像を前記ユーザが目視しながら、前記所定方向に対するユーザの画像が前記端末の姿勢調整操作を通じて取得される、方法。
【請求項３】
請求項１または２記載の方法において、
前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記ユーザの部位間の距離が推定され、前記ユーザの姿勢評価が、前記ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、方法。
【請求項４】
請求項１から３の何れか一項記載の方法であって、更に、前記ユーザの姿勢評価に関連付けられるフィードバックを前記端末に出力するステップを含む、方法。
【請求項５】
請求項１から４の何れか一項記載の方法であって、前記所定方向が、前記ユーザの正面上半身方向、正面下半身方向、側面上半身方向、および側面下半身方向の内１つ以上を含む、方法。
【請求項６】
請求項５記載の方法において、前記評価対象項目は、前記正面上半身方向に対する前記ユーザの肩の高さ、前記正面上半身方向に対する前記ユーザの身体の傾き、前記正面下半身方向に対する前記ユーザの骨盤の傾き、前記側面上半身方向に対する前記ユーザの上位交差症候群、前記側面下半身方向に対する前記ユーザの骨盤の前方移動、および前記側面下半身方向に対する前記ユーザの骨盤の傾きの内１つ以上を含む、方法。
【請求項７】
請求項１から６の何れか一項記載の方法において、
前記所定方向の画像を取得するステップにおいて、前記撮像部によって撮像された前記画像が、前記端末が具備するセンサを用いて水平方向に自動的にトリミングされる、方法。
【請求項８】
ユーザの姿勢を評価するためのシステムであって、第１端末および第２端末を備え、前記ユーザに操作される前記第１端末が、
所定方向に関するガイダンスを出力する出力部と、
前記ガイダンスとの相互作用による前記端末の姿勢調整操作を通じて、前記出力部に表示されている前記ユーザの画像を前記所定方向に関連づけて撮像および取得する取得部と、
ネットワークを介して前記ユーザの画像を送信し、前記ユーザの姿勢評価を受信する第１通信部と、を備え、前記第２端末が、
前記画像上で、ランドマークの位置を前記所定方向に関連付けて特定する特定部と、
前記ランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について前記ユーザの姿勢評価を決定する評価部と、
前記ネットワークを介して前記ユーザの画像を受信し、前記ユーザの姿勢評価を送信する第２通信部と、を備えるシステム。
【請求項９】
請求項８記載のシステムであって、更に、サーバであって、
前記第２端末から受信した前記ユーザの姿勢評価に関連付けられるコンテンツを抽出して、前記ユーザにフィードバックするためのフィードバックを生成するフィードバック部を含む、サーバを備える、システム。
【請求項１０】
請求項８または９記載のシステムにおいて、前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記ユーザの部位間の距離が推定され、前記ユーザの姿勢評価が、前記ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、端末に操作されるユーザの姿勢を評価するための方法およびシステムに関する。
【背景技術】
【０００２】
近年、ダイエットやメタボリックシンドロームの予防等の健康意識の高まりを受けて、指導者の指導を受ける健康指導サービスが普及している。また、IT化に伴い、指導者とクライアントが直接対面することなく、オンライン上で健康指導サービスを受けることができるケースが増加している。
【０００３】
健康指導サービスにおいて、指導者は、ユーザが摂取した食事や現在の健康状態等をオンライン端末で確認し、当該確認結果に基づいて指導のためのメッセージを作成し、ユーザの端末にメッセージを送る（例えば、引用文献１）。今後、スマートフォン等の端末で撮影された各種画像の分析を通じて、より詳細なユーザの健康状態の分析を提供する等、更なる健康指導サービスの発展が期待される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−３３５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、スマートフォン等の端末を用いてユーザが自らを撮影した画像（所謂、「自撮り」画像）を用いて、ユーザの健康状態の分析を実施可能とし、その結果をユーザにフィードバック可能とする方法およびシステムを提供することを目的とする。特に、ユーザの健康状態として、姿勢に関する評価を実施するための方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一実施形態によれば、ユーザの姿勢を評価するための方法が提供される。かかる方法は、ユーザに操作される端末による、所定方向に関するガイダンスを出力するステップと、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、端末が備える撮像部によって撮像される、所定方向に対するユーザの画像を取得するステップと、画像に基づいて決定されるユーザの姿勢評価を出力するステップと、を含み、ユーザの姿勢評価が、所定方向に関連付けて特定される画像上のランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目について決定される。
【０００７】
また、本開示の一実施形態によれば、ユーザの姿勢を評価するためのシステムが提供される。かかるシステムは、第１端末および第２端末を備え、ユーザに操作される第１端末が、所定方向に関するガイダンスを出力する出力部と、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、出力部に表示されているユーザの画像を所定方向に関連づけて撮像および取得する取得部と、ネットワークを介してユーザの画像を送信し、ユーザの姿勢評価を受信する第１通信部と、を備え、第２端末が、画像上で、ランドマークの位置を所定方向に関連付けて特定する特定部と、ランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目についてユーザの姿勢評価を決定する評価部と、ネットワークを介してユーザの画像を受信し、ユーザの姿勢評価を送信する第２通信部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】システムの基本構成図である。
【図２】サーバについての例示のハードウェア構成図である。
【図３】ユーザ端末についての例示のハードウェア構成図である。
【図４】一実施形態によるシステムの機能ブロック図である。
【図５】一実施形態による方法の例示の処理フロー図である。
【図６】一実施形態による方法で実装される例示の画面イメージである。
【図７】一実施形態による方法で取得される例示の画面イメージである。
【図８】一実施形態による方法で実装される例示の撮像付加機能である。
【図９】一実施形態による方法で実装される例示の画面イメージである。
【図１０Ａ】一実施形態による方法で取得される例示の画面イメージである。
【図１０Ｂ】一実施形態による方法で取得される例示の画面イメージである。
【図１０Ｃ】一実施形態による方法で取得される例示の画面イメージである。
【図１０Ｄ】一実施形態による方法で取得される例示の画面イメージである。
【図１１】一実施形態による方法で用いられる例示のテーブル構成図である。
【図１２】一実施形態による方法で用いられる例示のテーブル構成図である。
【図１３】一実施形態による方法で用いられる例示のテーブル構成図である。
【発明を実施するための形態】
【０００９】
最初に、本開示の例示的な実施形態の構成を列記して説明する。本開示の実施形態による、方法およびシステムは、以下のような構成を備えてもよい。
【００１０】
〔形態１〕形態１によれば、ユーザの姿勢を評価するための方法が提供される。かかる方法は、ユーザに操作される端末による、所定方向に関するガイダンスを出力するステップと、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、端末が備える撮像部によって撮像される、所定方向に対するユーザの画像を取得するステップと、画像に基づいて決定されるユーザの姿勢評価を出力するステップと、を含み、ユーザの姿勢評価が、所定方向に関連付けて特定される画像上のランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目について決定される。かかる方法により、スマートフォンやタブレット端末のようなユーザ自らを撮像可能な通信可能端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができるようになる。
【００１１】
〔形態２〕形態２によれば、形態１の方法において、端末が備える表示部に表示されるユーザの画像をユーザが目視しながら、所定方向に対するユーザの画像が端末の姿勢調整操作を通じて取得される。かかる方法により、ユーザは正確に自らを撮像することができる。
【００１２】
〔形態３〕形態３によれば、形態１または２の方法において、画像上の複数のランドマーク間の距離に基づいて、ランドマークに対応するユーザの部位間の距離が推定され、ユーザの姿勢評価が、ユーザの部位間の距離に基づいて計算される評価対象項目のスコアを含む。かかる方法により、ユーザに理解されやすいように姿勢評価を数値化することができる。
【００１３】
〔形態４〕形態４によれば、形態１から３の何れかの方法であって、更に、ユーザの姿勢評価に関連付けられるフィードバックを端末に出力するステップを含む。かかる方法により、ユーザの画像に対する姿勢評価を様々な観点で行うことができ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
【００１４】
〔形態５〕形態５によれば、形態１から３の何れかの方法であって、所定方向が、ユーザの正面上半身方向、正面下半身方向、側面上半身方向、および側面下半身方向の内１つ以上を含む。かかる方法により、計４回の撮像のみで正確な姿勢評価を実施することができる。
【００１５】
〔形態６〕形態６によれば、形態５の方法において、評価対象項目は、正面上半身方向に対するユーザの肩の高さ、正面上半身方向に対するユーザの身体の傾き、正面下半身方向に対するユーザの骨盤の傾き、側面上半身方向に対するユーザの上位交差症候群、側面下半身方向に対するユーザの骨盤の前方移動、および側面下半身方向に対するユーザの骨盤の傾きの内１つ以上を含む。かかる方法により、様々な項目に対する姿勢評価を実施することができる。
【００１６】
〔形態７〕形態７によれば、形態１から６の何れかの方法において、所定方向の画像を取得するステップにおいて、撮像部によって撮像された画像が、端末が具備するセンサを用いて水平方向に自動的にトリミングされる。かかる方法により、水平方向に正確なユーザ画像を用いて、効果的に姿勢評価を行うことができる。
【００１７】
〔形態８〕形態８によれば、ユーザの姿勢を評価するためのシステムが提供される。かかるシステムは、第１端末および第２端末を備え、ユーザに操作される第１端末が、所定方向に関するガイダンスを出力する出力部と、ガイダンスとの相互作用による端末の姿勢調整操作を通じて、出力部に表示されているユーザの画像を所定方向に関連づけて撮像および取得する取得部と、ネットワークを介してユーザの画像を送信し、ユーザの姿勢評価を受信する第１通信部と、を備え、第２端末が、画像上で、ランドマークの位置を所定方向に関連付けて特定する特定部と、ランドマークの位置に基づいて、所定方向に関連付けられる評価対象項目についてユーザの姿勢評価を決定する評価部と、ネットワークを介してユーザの画像を受信し、ユーザの姿勢評価を送信する第２通信部と、を備える。かかるシステムにより、スマートフォンやタブレット端末のようなユーザ自らを撮像可能な通信可能端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができるようになる。
【００１８】
〔形態９〕形態９によれば、形態８のシステムであって、更に、第２端末から受信したユーザの姿勢評価に関連付けられるコンテンツを抽出して、ユーザにフィードバックするためのフィードバックを生成するフィードバック部を含むサーバを備える。かかるシステムにより、ユーザの画像に対する姿勢評価を様々な観点で行うことができ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
【００１９】
〔形態１０〕形態１０によれば、形態８または９のシステムにおいて、画像上の複数のランドマーク間の距離に基づいて、ランドマークに対応するユーザの部位間の距離が推定され、ユーザの姿勢評価が、ユーザの部位間の距離に基づいて計算される評価対象項目のスコアを含む。かかるシステムにより、ユーザに理解されやすいように姿勢評価を数値化することができる。
【００２０】
以下に、本開示に係るユーザの姿勢を評価するための方法およびシステムの実施形態を添付図面とともに説明する。添付図面において、同一または類似の要素には同一または類似の参照符号が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。なお、以下では、ユーザの健康管理サービスとして、ユーザ姿勢画像を用いた姿勢評価サービスを想定するが、姿勢評価に限定されず、様々なユーザの健康状態の管理に適用可能である。
【００２１】
図１は、システム１０００の全体概要図である。システム１０００は、サーバ１００と、複数のユーザ端末２００，３００と、を備える。サーバ１００は、ネットワーク４００を介してユーザ端末２００，３００に接続される。図１において、説明を簡単にするために、ユーザ端末は２台のみ示しているが、これに限定されず、３台以上としてもよい。また、ユーザ端末２００，３００の具体的な機器は、図示したパーソナルコンピュータおよびスマートフォンに限定されず、これ以外にも、例えば、フィーチャーフォン、ＰＤＡ(Personal Digital Assistant)、またはタブレット端末等の電子機器としてもよい。以下では、ユーザ端末２００は指導者ユーザ（姿勢の評価者）が用いる端末を、また、ユーザ端末３００は健康管理対象ユーザ（姿勢の被評価者）が用いる端末を想定する。
【００２２】
ユーザ端末２００，３００を用いることで、指導者ユーザおよび健康管理対象ユーザは、インスタント・メッセージング（ＩＭ）サービス、ＳＮＳ（Social Networking Service）またはブログ（Blog）等のサービスを通じて相互に意思疎通することができる。つまり、サービスが実装されるアプリケーションには、インターネットを通じて複数のユーザのアカウント間を連携させて、アカウント間でメッセージング（メッセージ・データの送受信）を行うことができる任意のものが含まれる。
【００２３】
図２および図３を参照して、サーバ１００およびユーザ端末２００，３００のハードウェア構成の概要について説明する。図２に示されるサーバ１００は、アプリケーションを通じてサービスを提供するための情報処理装置であり、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的かつ分散的に実現されてもよい。サーバ１００は、プロセッサ１０、メモリ１１、ストレージ１２、通信インタフェース（ＩＦ）１３、および入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００２４】
プロセッサ１０は、サーバ１００全体の動作を制御し、各要素間におけるデータの送受信の制御、およびアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ(Central Processing Unit)であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【００２５】
メモリ１１は、ＤＲＡＭ(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１００の起動時に実行されるＢＩＯＳ(Basic Input / Output System)、および各種設定情報等を格納する。ストレージ１２は、アプリケーション・プログラム、およびユーザの認証プログラム等の各種プログラムを格納する。アプリケーションの各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
【００２６】
通信インタフェース１３は、サーバ１００をネットワーク４００に接続し、ユーザ端末２００，３００との通信を行う。入出力部１４は、マウスやキーボード等の情報入力機器、およびディスプレイ等の出力機器である。バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号および各種制御信号を伝達する。
【００２７】
図３に示されるユーザ端末２００（３００）の例は、主に、タッチパネルを有するスマートフォンまたはタブレット端末（３００）を想定している。ユーザ端末２００（３００）は、プロセッサ２０、メモリ２１、ストレージ２２、通信インタフェース（ＩＦ）２３、撮像部２４、タッチパネル２５、および検知部２６等を備え、バス２９を介して相互に電気的に接続される。
【００２８】
プロセッサ２０は、ユーザ端末２００（３００）の動作を制御し、各要素間におけるデータの送受信の制御、およびプリケーションの実行に必要な処理等を行う演算装置である。例えばプロセッサ２０はＣＰＵおよび／またはＧＰＵ(Graphical Processing Unit)等であり、ストレージ２２に格納され、メモリ２１に展開されたプログラム等を実行することによって必要な各情報処理を実施する。
【００２９】
メモリ２１は、ＲＡＭなどの揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１はプロセッサ２０のワークエリア等として使用され、また、ユーザ端末２００（３００）の起動時に実行されるＢＩＯＳ、および各種設定情報等が格納される。ストレージ２２には、アプリケーション・プログラム等が格納される。アプリケーション・プログラムは通信インタフェース２３を通じてダウンロードにより格納することができる。
【００３０】
通信インタフェース２３は、ユーザ端末２００（３００）をネットワーク４００に接続し、サーバ１００と通信を行う。また、通信インタフェース２３には、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＢＬＥ(Bluetooth Low Energy)の近距離通信インタフェースも含まれる。撮像部２４は、カメラ・レンズを通じた撮像機能を有し、ユーザによって撮像される画像および動画をストレージ２２に格納する。なお、撮像機能には、ユーザ端末２００の姿勢調節を補助する機能のような各種ユーザ補助機能が含まれる。
【００３１】
タッチパネル２５は、入力部２５１および表示部２５２を構成する。タッチパネルの入力部２５１は、ユーザによるタッチパネル２５へのタッチ操作の有無を検知する。入力部２５１は、圧力検出方式、抵抗膜方式、静電容量方式、または電磁誘導方式等を採用することができる。そして、タッチパネル上の任意の位置で操作（タッチパネルに対する、タッチ操作、スライド動作、スワイプ操作、及びタップ操作等の物理的接触操作）による入力を受けると、その位置における押圧、電気抵抗、電気容量、または弾性波のエネルギー等の変化量が検知され、対応する接触位置座標が特定される。タッチパネルの表示部２５２は通常、液晶ディスプレイ等で構成される。
【００３２】
検知部２６は、内蔵型センサとして、これに限定されないが、加速度センサ、振動センサ、ジャイロセンサ、地磁気センサ、近接センサ、照度センサ、圧力センサ、およびＧＰＳ等を含む。検知部２６は、一例として、ユーザ端末２００の姿勢を検出するための傾き検出センサとして機能する。加えて、外部のウェアラブル・デバイス（非図示）と連携して、通信インタフェース２３を通じて、ユーザの歩数等の活動情報を受け取ってもよい。外部のウェアラブル・デバイスを使用することにより、ＥＣＧ（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）センサや筋電センサのようなより詳細な生体情報を取得可能である。これ以外にも気象センサ等からの各種データも取得可能としてもよい。バス２９は、上記の各要素に共通に接続され、例えば、アドレス信号、データ信号、および各種制御信号を伝達する。
【００３３】
図４を参照してシステム１０００の機能構成について説明する。図４は、サーバ１００およびユーザ端末２００（３００）にそれぞれ実装される機能を示した例示のブロック図である。サーバ１００は、通信部１１０、フィードバック生成部１５０、および記憶部１９０を含み、相互に作用する。フィードバック生成部１５０は、更に、スコア部１５２、コンテンツ抽出部１５４、およびメッセージ生成部１５６を含む。記憶部１９０は、ユーザ・アカウントに関するアカウント情報１９１およびユーザの各種基本情報に関するユーザ情報１９２を管理する。これに加えて、ユーザ姿勢画像１９３、コンテンツ情報１９４、姿勢評価基本情報１９５、スコア化ルール情報１９６、およびガイダンス情報１９７も管理する。各情報１９１から１９７は、例えばテーブル形式でデータベースにて管理するのがよい。
【００３４】
ユーザ端末２００（３００）は、通信部２１０、記憶部２２０、入力部２４０、出力部２５０、ランドマーク特定部２７０、および姿勢評価部２８０を含み、相互に作用する。入力部２４０は、更に、ユーザ画像取得部２４５を含む。なお、ユーザ端末のこれら機能は、ユーザ端末２００または３００に応じて部分的に有してよい。例えば、指導者ユーザに操作されるユーザ端末２００は、通信部２１０、記憶部２２０、入力部２４０、ランドマーク特定部２７０、および姿勢評価部２８０を有し、ユーザ画像取得部２４５を有しないように構成してもよい。他方、健康管理対象ユーザに操作されるユーザ端末３００は、通信部２１０、記憶部２２０、入力部２４０、ユーザ画像取得部２４５、および出力部２５０を有し、ランドマーク特定部２７０および姿勢評価部２８０を有しないように構成してもよい。
【００３５】
図２および図３に示した上記のサーバ１００およびユーザ端末２００（３００）の各ハードウェア構成における各要素、並びに図４に示した各機能ブロックは一例に過ぎず、これらに限定されない。特に、図４に示した各機能ブロックは、ハードウェアの一部として実装されても、および／またはソフトウェアの一部として実装されてもよい。また、図４に示したサーバ１００の各機能ブロック１１０から１９７の少なくとも一部は、ユーザ端末２００（３００）が有するように構成してもよい。ユーザ端末２００（３００）の各機能２１０から２８０の少なくとも一部も、サーバ１００が有するように構成してもよい。例えば、ユーザ端末２００（３００）の機能ブロックとして示したランドマーク特定部２７０および姿勢評価部２８０は、サーバ１００に含まれるように構成してもよい。また、姿勢評価基本情報１９５は、ユーザ端末２００（３００）に含まれるように構成してもよい。つまり、一実施形態による方法は、サーバ１００およびユーザ端末２００（３００）から任意に選択される情報処理装置が実行できるものである。
【００３６】
これより、図５から図１３を参照して、一実施形態によるユーザの姿勢を評価するための方法について説明する。具体的には、本方法では、健康管理対象ユーザＨＵが自ら撮像した画像に対し、指導者ユーザＴＵが評価を行い、健康管理対象ユーザＨＵにフィードバックする。図５は、本方法において実装される例示の処理フローであり、サーバ１００と、指導者ユーザＴＵに操作されるユーザ端末２００と、健康管理対象ユーザＨＵに操作されるユーザ端末３００との相互作用による処理フローを示す。図６から図１０Ｄは、一実施形態による方法で実装または取得される、ユーザ端末２００，３００に表示される例示の画面イメージである。図１１から図１３は、本方法で実装および記憶される例示のテーブル構成図および例示のレコードであり、サーバ１００の記憶部１９０および／またはユーザ端末２００，３００の記憶部２２０に格納される。これらの処理フロー、画面イメージ、およびテーブル構成は例示に過ぎず、限定的でない。
【００３７】
Ｓ１１において、サーバ１００は、記憶部１９０のガイダンス情報１９７をユーザ端末３００に事前に送信する。ユーザ端末３００からの要求に応じてガイダンス情報１９７の送信が実施されてもよい。なお、ガイダンス情報１９７とは、健康管理対象ユーザＨＵに関連付けられる姿勢評価に関する案内（ガイダンス／チュートリアル）であり、静止画、動画および音声等の各種コンテンツで構成される。ガイダンス情報１９７は、特に、健康管理対象ユーザＨＵがユーザ端末３００の撮像部２４を用いて自らを撮像するやり方（撮像時のユーザ端末３００の姿勢調整等）を案内する。つまり、ガイダンス情報１９７は主に、撮像時におけるユーザ端末３００の所定方向に関する。
【００３８】
ユーザ端末３００では、Ｓ３１からＳ３４を通じて、健康管理対象ユーザＨＵの自らの画像を撮像により取得する。具体的には、ユーザ端末３００は、ガイダンス情報１９７を記憶部２２０に格納した後に、Ｓ３１において、出力部２５０が所定方向に関するガイダンスを出力する。ガイダンスの出力に応じて、Ｓ３２において、ガイダンスとの相互作用を通じて、ユーザ端末３００は、健康管理対象ユーザＨＵによる姿勢調整操作を受ける。姿勢調整操作は、ユーザ端末３００の検知部２６と連携してもよい。ユーザ端末３００が姿勢調整操作を受けた後、Ｓ３３において、ユーザ画像取得部２４５は、所定方向に対するユーザの画像を取得する。取得されるユーザの画像は、ユーザの姿勢を評価するために用いられるユーザの姿勢画像であり、ユーザ端末３００の撮像部２４によって撮像される。取得されたユーザの姿勢画像は、Ｓ３４において、ユーザの姿勢画像情報として通信部２１０によってネットワーク４００を通じてサーバ１００に送られる。
【００３９】
図６は、Ｓ３１において、ユーザ端末３００の表示部２５２に出力される例示のガイダンスを示す。この例では、ガイダンスは画面Ｄ１１からＤ１３の画面遷移によって構成される。画面Ｄ１１では、「ガイダンスを開始します。」と表示され、健康管理対象ユーザＨＵは「開始」ボタンを押下すると、ガイダンスは次の画面Ｄ１２に遷移する。画面Ｄ１２では、最初の姿勢（スタート・ポジション）の決定方法がユーザに案内される。即ち、「１．スマートフォンを片手に持ち、力みのない姿勢で立ちます。」「２．両足を拳１つ分だけ空けるように開きます。」「３．つま先を正面に向けます。」のようにスタート・ポジションが案内される。
【００４０】
健康管理対象ユーザＨＵが画面Ｄ１２の案内にしたがって、自らのスタート・ポジションを実際に決定して「ＯＫ」ボタンを押下すると、ガイダンスは次の画面Ｄ１３に遷移する。画面Ｄ１３では、所定方向に対するユーザ端末の姿勢調整方法（傾け方）が案内される。即ち、例えば正面上半身方向に対しては、「１．スマートフォンを両手で持ちます。」「２．両肘をしっかり伸ばします。」「３．カメラを水平に保ち、顔が画面の中心にあることを確認します。」のようにユーザ端末の傾け方が案内される。なお、「３．」はユーザ端末３００の表示部２５２上のレンズ位置（上部または下部等）に応じて、対応したガイダンスが表示される。これ以外にも、ユーザ端末３００の種別（スマートフォンまたはタブレット等）に応じて、対応したユーザの指の引っ掛け方を案内するガイダンスを表示してもよい。
【００４１】
その後、健康管理対象ユーザＨＵは「カメラ起動」ボタンの押下による相互作用を通じて、実際にユーザ端末３００の姿勢調整操作を行う。ユーザ端末３００の姿勢調整操作は、ユーザ端末３００の検知部２６によるユーザ端末３００の姿勢検知（例えば、傾きセンサによる傾き検知）と連携させてもよい。ユーザ端末３００の姿勢調整操作の結果、健康管理対象ユーザＨＵは、ユーザ端末３００の表示部２５２に表示される自らの画像を目視しながらシャッター・ボタンの押下等による相互作用を通じて、実際に撮像を行う。画面Ｄ１３は、正面上半身方向に関するものであるが、それ以外の正面下半身方向、側面上半身方向および側面下半身方向においても同様に、それぞれ、ユーザ端末３００の姿勢調整方法が順次案内される。そして、健康管理対象ユーザＨＵにより、ガイダンスとの相互作用によるユーザ端末の姿勢調整が実際に実施されて、所定方向にしたがった撮像が実施される。
【００４２】
図７は、このようにして取得された健康管理対象ユーザＨＵの例示の４枚の姿勢画像である。ユーザによるユーザ端末３００の姿勢調整操作性の観点から、正面上半身方向のユーザ姿勢画像Ｉ１、側面上半身方向のユーザ姿勢画像Ｉ２、側面下半身方向のユーザ姿勢画像Ｉ３、および正面下半身方向のユーザ姿勢画像Ｉ４の順とするのが分かりやすくてよい。図７から理解されるように、ユーザ姿勢画像Ｉ１およびＩ２の上半身方向は、健康管理対象ユーザＨＵの胸部から頭部にかけての画像となる。また、ユーザ姿勢画像Ｉ３およびＩ４の下半身方向は、健康管理対象ユーザＨＵの腹部から足下にかけての画像となる。このように、本明細書では、上半身を概ね胸部から頭部までの部分、下半身を概ね腹部から足下までの部分と定義する。
【００４３】
図８は、Ｓ３３において撮像が実施される際に健康管理対象ユーザＨＵを補助するために、撮像部２４に好適に実装される付加的な撮像機能について説明する。図８に示すように、健康管理対象ユーザＨＵのユーザ端末３００は、ユーザと対面するレンズ２４１と、タッチパネル２５上にシャッター・ボタン２４７とを撮像部２４の一部として含むものと想定する。なお、図８に示す付加的な撮像機能は必須のものではない。
【００４４】
図８の（ａ）に示す付加機能では、撮像部２４による撮像の際に、検知部２６を用いてユーザ端末３００の姿勢（傾き）を検知し、画像を水平方向に自動的にトリミングする。撮像部２４は、水平方向をガイドし、これに沿ってトリミングするためのトリミング領域２４３をタッチパネル２５上に表示する。健康管理対象ユーザＨＵが自らを撮像する際は、レンズ２４１を通じてタッチパネル２５に表示される画像をトリミング領域２４３に含めるように位置合わせすることで、常に水平方向にトリミングされた画像を取得することができる。水平方向のトリミングは、健康管理対象ユーザＨＵの水平方向に対する「肩の高さ」を評価する場合（後述）等、ユーザ画像を用いた姿勢評価全般に特に有用となる。また、水平方向のトリミングに加えて、またはこれに替えて、重力方向のトリミングを実施する機能が実装されてもよい。
【００４５】
図８の（ｂ）に示す付加機能では、画面縦方向および画面横方向をガイドするガイド線２４５と、健康管理対象ユーザＨＵの顔等の基準部位を位置合わせするためのガイド領域２５５とを含むガイドがタッチパネル２５上に表示される。健康管理対象ユーザＨＵは、レンズ２４１を通じてタッチパネル２５に表示される基準部位（例えば顔）をガイドに沿うように位置合わせすればいいので、撮像が容易となる。また、図８の（ｃ）に示す付加機能では、健康管理対象ユーザＨＵがシャッター押下後、所定の時間経過したら撮像部２４によって自動的に撮像される。または、音声による撮影指示に応答して、所定の時間経過したら撮像部２４によって自動的に撮像されてもよい。或いは、検知部２６によって姿勢調整操作の検知が監視され、姿勢調整操作の停止が所定期間にわたり検知された後に、撮像部２４によって自動的に撮像されてもよい。これにより、ユーザは撮像時にシャッター・ボタン２４７を押下する必要がなくなるので、体勢を崩すことなくより正確な撮像を実施することができる。
【００４６】
本実施形態によれば、ユーザの姿勢を効率的かつ適切に評価することが可能となる。スマートフォンやタブレット端末のような自撮り可能な端末を操作可能なユーザであれば、誰でも簡単にオンラインでの姿勢評価を受けることができる。端末は、ユーザが保有のものであってもよいし、スポーツジム等に設置された端末としてもよく、ユーザの所与のアカウントでアプリケーション利用できる任意の端末とすることができる。操作の簡単さから、端末をこれまで十分に使いこなせてこなかったユーザ（例えば、５０代の主婦等）に対しても、オンラインによる健康管理サービスへの関心を喚起させることができる。ユーザによる自撮り操作は、正面および側面に対する上半身および下半身の計４回だけ行えば十分であり、いつでも、どこでも、１分も掛からず簡単に実施可能となる。
【００４７】
図５に戻り、Ｓ１２において、サーバ１００の通信部１１０がユーザ端末３００から受信したユーザの姿勢画像情報を、ユーザ姿勢画像１９３として記憶部１９０に格納する。なお、サーバ１００では、格納した各所定方向のユーザ姿勢画像に基づいて、ユーザの身体の部位間の距離が、例えばユーザの身長や腕の長さに関連付けて推定可能とされる。例えば、耳孔と肩峰の間の距離や上前腸骨棘と上後腸骨棘の間の距離（単位：ｃｍまたは横指）等が推定可能となる。また、画像全体の大きさに対する相対距離から、これら距離が推定されてもよい。これら距離情報はまた、ユーザの姿勢画像情報１９３として格納されるのがよい。健康管理対象ユーザＨＵの身長や腕の長さは、例えば、ユーザ情報１９２として予め格納しておくのがよい。
【００４８】
ユーザ端末２００では、Ｓ２１からＳ２３を通じて、ユーザの姿勢画像情報に基づく、指導者ユーザＴＵによる健康管理対象ユーザＨＵの姿勢評価を実施する。なお、指導者ユーザＴＵと健康管理対象ユーザＨＵは、アカウント情報１９１によってそれぞれがロール（指導者または健康管理対象者）と共に関連付けられている。ユーザ端末２００での姿勢評価の実施に際し、サーバ１００の記憶部１９０に格納された姿勢評価基本情報１９５（図１１）が予めユーザ端末２００に供給される。また、指導者ユーザＴＵ向けの姿勢評価のためのガイダンス情報１９７も予めユーザ端末２００に供給される。
【００４９】
Ｓ２１において、通信部２１０は、サーバからユーザ姿勢画像情報を受信し、記憶部２２０に格納する。Ｓ２２において、出力部２５０が各所定方向のユーザ姿勢画像を表示部２５２に出力し、次いで、ランドマーク特定部２７０は、各所定方向に関連付けられたユーザ姿勢画像上の１つ以上のランドマークの特定を受ける。Ｓ２３において、姿勢評価部２８０は、Ｓ２２で特定されたランドマークに基づいて、健康管理対象ユーザＨＵの姿勢評価を決定する。姿勢評価の決定は、姿勢評価基本情報１９５を用いて、所定方向に関連付けられる評価対象項目ごとに実施される。
【００５０】
図９は、Ｓ２２において、健康管理対象ユーザＨＵのユーザ姿勢画像を、指導者ユーザＴＵのユーザ端末２００の表示部２５２に表示する際の例示のガイダンスを示す。つまり、ガイダンスは、ユーザ姿勢画像上で特定すべき１つ以上のランドマークを指導者ユーザＴＵに適切に案内する。指導者ユーザＴＵは、ガイダンスと相互作用しながら、指示されたランドマークを表示画面上で特定すればよい。この例では、ガイダンスは、画面Ｄ２１からＤ２３の画面遷移によって構成される。画面Ｄ２１では、「姿勢評価を開始します。」と表示され、指導者ユーザＴＵが「開始」ボタンを押下すると、ガイダンスは次の画面Ｄ２２に遷移する。画面Ｄ２２では、正面上半身写真のランドマークを指導者ユーザＴＵに特定させるためのガイダンスが表示される。即ち、「１．正面上半身写真を表示します。」「２．正面上半身写真上で、ランドマークを特定します。」「３．ランドマークは、左右の肩峰点と眉間です。」のような操作方法が案内される。
【００５１】
画面Ｄ２２で「写真表示」ボタンが押下されると、指導者ユーザＴＵによって、Ｓ２１で取得した正面上半身方向のユーザ姿勢画像Ｉ１が表示される。図１０Ａに関して後述するランドマーク特定画像Ｉ５が生成された後、ガイダンスは次の画面Ｄ２３に遷移する。画面Ｄ２３では、正面上半身写真の姿勢評価（ここでは、肩の高さ）を指導者ユーザＴＵに実施させるためのガイダンスが表示される。即ち、「１．最初に「肩の高さ」を評価します。」「２．ランドマークＬＭ１，ＬＭ２および基準ガイド線Ｌ１を確認してください。」「３．評価をリストから選択して下さい。」のような姿勢評価方法が案内される。指導者ユーザＴＵは、ランドマーク特定画像Ｉ５を確認しながら評価を決定する。そして、「評価入力」ボタンを押下し、評価入力画面（非図示）にリスト表示された評価リスト「左の肩が高い」「右の肩が高い」または「ニュートラル」から何れかを選択することにより、「肩の高さ」に関する評価を完了する。なお、正面上半身方向のユーザ姿勢画像Ｉ１以外の側面上半身方向のユーザ姿勢画像Ｉ２、側面下半身方向のユーザ姿勢画像Ｉ３および正面下半身方向のユーザ姿勢画像Ｉ４についても、ランドマーク画像がそれぞれ生成されて同様に姿勢評価が実施される。
【００５２】
図１０Ａから図１０Ｄは、ユーザ姿勢画像Ｉ１からＩ４上で、それぞれランドマークが特定された後の対応するランドマーク特定画像Ｉ５からＩ８を示す。ランドマーク画像Ｉ５は、正面上半身方向のユーザ姿勢画像Ｉ１に対応する。同様に、ランドマーク画像Ｉ６は側面上半身方向のユーザ姿勢画像Ｉ２に、ランドマーク画像Ｉ７は側面下半身方向のユーザ姿勢画像Ｉ３に、そして、ランドマーク画像Ｉ９は正面下半身方向のユーザ姿勢画像Ｉ４に対応する。図１０Ａから図１０Ｄに示すように、ランドマーク画像Ｉ５からＩ８では、それぞれ１つ以上のランドマーク（ここでは、ＬＭ１からＬＭ１０）が指導者ユーザＴＵのユーザ端末２００のランドマーク特定部２７０によって特定される。ランドマークは、健康管理対象ユーザＨＵの部位に応じてドットまたはラインとなる。ユーザ端末２００がスマートフォンやタブレット端末の場合は、タッチパネル２５に表示された該当部位上で指導者ユーザＴＵがタップまたはスライドのようなタッチ操作を行うことによって各ランドマークが特定される。通常の液晶ディスプレイでは、該当部位上で指導者ユーザＴＵがマウスによりクリックまたはドラッグ操作をすることによって各ランドマークが特定される。
【００５３】
例えば、図１０Ａの正面上半身方向のランドマーク画像Ｉ５では、指導者ユーザＴＵは、健康管理対象ユーザＨＵの画像Ｉ１上でランドマークＬＭ１，ＬＭ２，ＬＭ３を特定する。当該特定の操作は、画面Ｄ２３で示されるガイダンスに従い、健康管理対象ユーザＨＵの画像Ｉ１を表示させながら、左肩峰、右肩峰および眉間の各位置にドットによる印付けを手動で行うことで実施される。同様に、図１０Ｂの側面上半身方向のランドマーク画像Ｉ６では、指導者ユーザＴＵは、耳孔および肩峰をドットのランドマークＬＭ４，ＬＭ５として特定する。図１０Ｃの側面下半身方向のランドマーク画像Ｉ７では、指導者ユーザＴＵは、大転子および外踝をドットのランドマークＬＭ６，ＬＭ７として、また、腰椎をラインのランドマークＬＭ８として特定する。図１０Ｄの正面下半身方向のランドマーク画像Ｉ８では、指導者ユーザＴＵは、左膝蓋骨および右膝蓋骨をドットのランドマークＬＭ９，ＬＭ１０として特定する。このようなランドマークは、ユーザ端末２００またはサーバ１００に搭載された人工知能（ＡＩ）エンジンにより、自律的な機械学習を通じてダイナミックに特定するように動作可能としてもよい。
【００５４】
図１０Ａから図１０Ｄに更に示すように、ランドマークＬＭ１からＬＭ１０の特定に応答して、姿勢評価部２８０は、ランドマークの位置に基づいて、姿勢評価のための基準ガイド線Ｌ１からＬ５（点線）を設定してもよい。基準ガイド線は、各ランドマークの表示画面上の座標位置情報に応じて自動的に計算されて設定される。或いは指導者ユーザＴＵの手動にて設定可能としてもよい。例えば、図１０Ａの正面上半身方向のランドマーク画像Ｉ５では、右肩峰のランドマークＬＭ２の位置を基準にした画面横方向の基準ガイド線Ｌ１が設定される。また、左右肩峰のランドマークＬＭ１，ＬＭ２の位置の画面横方向の中間点を通る、画面縦方向の基準ガイド線Ｌ２（中央線）が設定される。同様に、図１０Ｂの側面上半身方向のランドマーク画像Ｉ６では、肩峰のランドマークＬＭ５の位置を基準にした画面縦方向の基準ガイド線Ｌ３が設定される。図１０Ｃの側面下半身方向のランドマーク画像Ｉ７では、外踝のランドマークＬＭ７の位置を基準にした画面縦方向の基準ガイド線Ｌ４が設定される。図１０Ｄの正面下半身方向のランドマーク画像Ｉ８では、左膝蓋骨および右膝蓋骨のランドマークＬＭ９，ＬＭ１０の位置の横方向の中間点を通る、画面縦方向の基準ガイド線Ｌ５が設定される。
【００５５】
各ランドマークが決定され、また、各基準ガイド線が設定されると、図１１に示される一例の姿勢評価基本情報１９５に基づいて、健康管理対象ユーザＨＵの姿勢評価が決定される。姿勢評価基本情報１９５では、姿勢評価を決定するためのルールがテーブル形式で定義される。姿勢評価基本情報１９５の評価対象項目のレコードに基づいて、Ｄ２３のガイダンスが生成される。姿勢評価の決定は、指導者ユーザＴＵのリスト選択による入力、プロセッサ２０の距離計算による自動判定、または双方の組み合わせにより実施されるのがよい。例えば、指導者ユーザＴＵが画面Ｄ２３に示した「肩の高さ」を評価対象とする場合は、図１１において該当する評価対象項目に関するレコードが参照される。即ち、評価概要に示されるように、図１０Ａにおける左右肩峰のランドマークＬＭ１，ＬＭ２の２ドット間の位置に基づいて、基準ガイド線Ｌ１に対する画面縦方向における左右の肩峰の高さ（即ち距離）を評価する。これにより、「左の肩が高い」「右の肩が高い」または「ニュートラル」の何れかが決定される。図１０Ａの例では「右の肩が高い」と評価されることになる。なお、評価において、画面横方向の基準ガイド線Ｌ１が水平方向と関連付けられると、姿勢評価がより正確になる。
【００５６】
他の評価対象項目についても同様である。評価対象項目が「身体の傾き」の場合は、図１０Ａにおいて、基準ガイド線Ｌ２（中央線）に対する眉間のランドマークＬＭ３の位置を評価することにより、「身体が左傾」「右傾」または「ニュートラル」の何れかが決定される。図１０Ａの例では「身体が左傾」と評価されることになる。評価対象項目が「上位交差症候群（猫背）」の場合は、図１０Ｂにおいて、肩峰のランドマークＬＭ５（または基準ガイド線Ｌ３）の位置に対する耳孔のランドマークＬＭ４の位置を評価することにより、「上位交差症候群が有る」または「無い」の何れかが決定される。図１０Ｂの例では、「上位交差症候群が有る」と評価されることになる。評価対象項目が「骨盤の前方移動」の場合は、図１０Ｃにおいて、外踝のランドマークＬＭ７（または基準ガイド線Ｌ４）の位置に対する大転子のランドマークＬＭ６の位置を評価することにより、「骨盤の前方移動が有る」または「無い」の何れかが決定される。図１０Ｃの例では、「骨盤の前方移動が有る」と評価されることになる。
【００５７】
評価対象項目が「骨盤の傾き」の場合は、図１０Ｃにおいて、腰椎のランドマークＬＭ８の位置のライン形状（即ち、腰椎前弯の弯曲の高さ（距離および角度））を評価することにより、「骨盤が前傾」「後継」または「ニュートラル」の何れかが決定される。図１０Ｃの例では、「ニュートラル」と評価されることになる。更に、評価対象項目が「骨盤の傾き」の場合は、図１０Ｄにおいて、基準ガイド線Ｌ５に対する左右の膝蓋骨のランドマークＬＭ９，１０の位置を評価することにより、更に「膝が外向き」または「内向き」の何れかが決定される。図１０Ｄの例では「膝が外向き」と評価されることになる。
【００５８】
このように、指導者ユーザＴＵは、ネットワークを通じて送られてくる健康管理対象ユーザＨＵの姿勢評価を、ランドマークに特定により手軽に実施することができる。例えば、指導者ユーザがスマートフォンを有していれば、所定のガイダンスにしたがって各ランドマークをタッチ操作によって特定すればよく、また所定のリストにしたがってユーザの症状を選択すればよい。つまり、場所や時間を問わず、簡単なタッチ操作によって効率的に健康管理対象ユーザＨＵの姿勢評価を実施することができる。
【００５９】
再び図５に戻り、Ｓ２３でユーザの姿勢評価が決定されると、当該姿勢評価はサーバ１００に供給される。サーバ１００では、Ｓ１３およびＳ１４において、健康管理対象ユーザＨＵへのフィードバックのために、姿勢評価に対して更なる分析を実施する。具体的には、Ｓ１３において、フィードバック生成部１５０のスコア部１５２は、各所定方向に対応するランドマーク画像上の複数のランドマーク間の距離に基づいて、該ランドマークに対応する健康管理対象ユーザＨＵの部位間の距離を推定する。また、健康管理対象ユーザＨＵの部位間の距離に基づいて、スコア化ルール情報１９６を用いて評価対象項目に対応するスコアを計算し、それを姿勢評価に含める。次いで、Ｓ１４において、フィードバック部１５０のコンテンツ抽出部１５４では、コンテンツ抽出ルールにしたがって、姿勢評価に関連付けられる一連のコンテンツをコンテンツ情報１９４から抽出し、フィードバックを生成する。
【００６０】
図１２は、Ｓ１３で使用されるスコア化ルール情報１９６の一例のレコードを示し、評価対象項目を「肩の高さ」とした場合のスコア化ルールの例である。他の評価項目についても同様にスコア化ルールが定義される。ここでは、左右肩峰のランドマークＬＭ１，ＬＭ２の２ドット間の位置情報に基づいて、基準ガイド線Ｌ２に対する画面縦方向における左右の肩峰の距離を推定する。推定される距離の値は、ユーザの姿勢画像情報１９３としてＳ１２で推定および格納された距離情報やユーザ情報１９２として格納された健康管理対象ユーザＨＵの身長や腕の長さに基づいて計算されるのがよい。計算された距離の値にしたがい、例えば、±１ｃｍの「ニュートラル」の場合は「０点」とする。同様に、３ｃｍ未満の「左（右）の肩が高い」場合は「−５点」とし、或いは３ｃｍ以上の「左（右）の肩が高い」場合は「−１０点」とする。このようにスコア化することにより、単に「左（右）の肩が高い」と評価するのみならず、症状を具体的に数値化して、健康管理対象ユーザＨＵに提示することができる。なお、スコアは減点方式で計算されるのがよい。
【００６１】
図１３は、Ｓ１４で生成されるフィードバックの例を示す。フィードバックは、決定された姿勢評価にしたがって決定される。具体的には、姿勢評価対象項目において選択された結果の組み合わせ（姿勢評価結果１）に関連付けられて、および／または数値化されたスコア（姿勢評価結果２）に基づいて決定される。図示するように、フィードバックの例には、症状説明のためのテキスト（フィードバック１）、筋バランスを示すイラスト（フィードバック２）、症状に対するリスク説明のテキスト（フィードバック３）、および／またはリスク対策のためのトレーニング動画（フィードバック４）を含む。各フィードバックは、姿勢評価結果１および／または姿勢評価結果２とコンテンツとの間の関連付けが予め規定された所定のコンテンツ抽出ルール（非図示）にしたがって、コンテンツ抽出部１５４によってコンテンツ情報１９４から抽出される。
【００６２】
図１３の例では、姿勢評価の結果として、「骨盤前方移動」および「右の肩が高い」という結果が顕著に表れた。また、数値化されたスコアは「８５／１００点」だった。これに対し、コンテンツ抽出ルールに関連付けられ、抽出されたフィードバック１からフィードバック４は次のとおりであった。
・フィードバック１：「臀筋や下腹部の筋肉が弱化し、骨盤が前方に移動しています。そして、そのバランスを保つために、骨盤の上にある背骨や肩の位置が崩れています。」というテキスト＃００１
・フィードバック２：筋肉が固くなりやすい箇所および脂肪がつきやすい箇所を提示するイラスト＃１２
・フィードバック３：不良姿勢からくるリスクとして「肩こり」「腰痛」「冷え／むくみ」のリスト
・フィードバック４：肩こり解消トレーニング動画＃０３
【００６３】
このようにして、姿勢管理対象ユーザＨＵに対する姿勢評価およびフィードバックが決定される。ユーザの姿勢画像に対する姿勢評価のみならず、必要な運動の提案を含む様々なフィードバックも付加価値としてユーザに供給することができる点で有利である。特に、各種フードバックを行うことにより、今までスポーツクラブ等に通ったことがなく、運動に興味を有してこなかったユーザに対しても、姿勢評価を介して健康管理の意識を高めるよう促進ことができる。上記のような姿勢評価およびフィードバックは、ユーザ情報１９２やユーザ姿勢情報（非図示）としてサーバ内に履歴を格納することにより、後の健康管理サービスに利用することもできる。
【００６４】
図５のＳ３５では、最後に、姿勢評価および各種フィードバックが健康管理対象ユーザＨＵのユーザ端末３００の出力部２５０に出力される。なお、出力部２５０への出力（Ｓ３５）では、指導者ユーザＴＵと健康管理対象ユーザＨＵの間のインスタント・メッセージング（ＩＭ）アプリケーションを通じたチャット形式の出力とするのがよい。つまり、上記の姿勢評価およびフィードバックは、ＩＭアプリケーション上で姿勢評価レポートとして健康管理対象ユーザＨＵに供給されるのがよい。その際、サーバ１００では、フィードバック生成部１５０のメッセージ生成部１５６によって、更に、健康管理対象ユーザＨＵ向けのテキストのメッセージが生成され、ＩＭアプリケーションを通じて供給するのがよい。なお、上述したユーザ姿勢画像情報の送信（Ｓ３４）もＩＭアプリケーションを通じて実施されることが理解される。
【００６５】
上述した実施形態によれば、ユーザの姿勢を効率的かつ適切に評価することが可能となる。特に、スマートフォンやタブレット端末のような自撮り可能な端末を操作可能なユーザであれば、誰でも簡単に姿勢評価を受けることができる。ユーザによる自撮り操作は、正面および側面に対する上半身および下半身の計４回だけ行えば十分であり、場所や時間を問わず、１分も掛からず簡単に実施可能である。ユーザの画像に対する姿勢評価は様々な観点で行われ、その結果、必要な運動の提案を含む様々なフィードバックをユーザに供給することができる。
【００６６】
上述した実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【図１】
2019016254.tif 000003
【図２】
2019016254.tif 000004
【図３】
2019016254.tif 000005
【図４】
2019016254.tif 000006
【図５】
2019016254.tif 000007
【図６】
2019016254.tif 000008
【図７】
2019016254.tif 000009
【図８】
2019016254.tif 000010
【図９】
2019016254.tif 000011
【図１０Ａ】
2019016254.tif 000012
【図１０Ｂ】
2019016254.tif 000013
【図１０Ｃ】
2019016254.tif 000014
【図１０Ｄ】
2019016254.tif 000015
【図１１】
2019016254.tif 000016
【図１２】
2019016254.tif 000017
【図１３】
2019016254.tif 000018
【手続補正書】
【提出日】平成29年10月25日(2017.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ユーザの姿勢を評価するための方法であって、前記第１ユーザに操作される第１端末による、
所定方向に関するガイダンスを出力するステップと、
前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて、前記第１端末が備える撮像部によって撮像される、前記所定方向に対する第１ユーザの画像を取得するステップと、
サーバを介して第２ユーザの第２端末に前記画像を送るステップと、
前記画像に基づいて決定される前記第１ユーザの姿勢評価、および該姿勢評価に関連付けられるフィードバックを前記サーバから受けて出力するステップと、を含み、
前記第１ユーザの姿勢評価が、前記第２端末によって、前記所定方向に関連付けて特定される前記画像上のランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について決定され、
前記フィードバックが、前記姿勢評価に関連付けられて抽出される動画ファイルを含み、該動画ファイルが前記サーバから前記第１端末に配信されて、前記第１端末で再生される、方法。
【請求項２】
請求項１記載の方法において、前記第１端末が備える表示部に表示される前記第１ユーザの画像を前記第１ユーザが目視しながら、前記第１端末が備える検知部による姿勢検知と連携することにより、前記所定方向に対する第１ユーザの画像が、前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて取得される、方法。
【請求項３】
請求項１または２記載の方法において、
前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記第１ユーザの部位間の距離が推定され、前記第１ユーザの姿勢評価が、前記第１ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、方法。
【請求項４】
請求項１から３の何れか一項記載の方法であって、前記所定方向が、前記第１ユーザの正面上半身方向、正面下半身方向、側面上半身方向、および側面下半身方向の内１つ以上を含む、方法。
【請求項５】
請求項４記載の方法において、前記評価対象項目は、前記正面上半身方向に対する前記第１ユーザの肩の高さ、前記正面上半身方向に対する前記第１ユーザの身体の傾き、前記正面下半身方向に対する前記第１ユーザの骨盤の傾き、前記側面上半身方向に対する前記第１ユーザの上位交差症候群、前記側面下半身方向に対する前記第１ユーザの骨盤の前方移動、および前記側面下半身方向に対する前記第１ユーザの骨盤の傾きの内１つ以上を含む、方法。
【請求項６】
請求項１から５の何れか一項記載の方法において、
前記所定方向の画像を取得するステップにおいて、前記撮像部によって撮像された前記画像が、前記第１端末が具備するセンサを用いて水平方向に自動的にトリミングされる、方法。
【請求項７】
ユーザの姿勢を評価するためのシステムであって、第１端末、第２端末、およびサーバを備え、前記ユーザに操作される前記第１端末が、
所定方向に関するガイダンスを出力する出力部と、
前記ガイダンスとの相互作用による前記端末の姿勢調整操作を通じて、前記出力部に表示されている前記ユーザの画像を前記所定方向に関連づけて撮像および取得する取得部と、
ネットワークを介して前記ユーザの画像を送信し、前記ユーザの姿勢評価を受信する第１通信部と、を備え、前記第２端末が、
前記画像上で、ランドマークの位置を前記所定方向に関連付けて特定する特定部と、
前記ランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について前記ユーザの姿勢評価を決定する評価部と、
前記ネットワークを介して前記ユーザの画像を受信し、前記ユーザの姿勢評価を送信する第２通信部と、を備え、前記サーバが、
前記第２端末から受信した前記ユーザの姿勢評価に関連付けられるコンテンツを抽出して、前記ユーザにフィードバックするためのフィードバックを生成するフィードバック部を含み、
前記フィードバックが、前記姿勢評価に関連付けられて抽出される動画ファイルを含み、該動画ファイルが前記サーバから前記第１端末に配信されて、前記第１端末で再生される、システム。
【請求項８】
請求項７記載のシステムにおいて、前記第１端末が備える表示部に表示される前記第１ユーザの画像を前記第１ユーザが目視しながら、前記第１端末が備える検知部による姿勢検知と連携することにより、前記所定方向に対する前記ユーザの画像が、前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて取得される、システム。
【請求項９】
請求項７または８記載のシステムにおいて、前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記ユーザの部位間の距離が推定され、前記ユーザの姿勢評価が、前記ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、システム。
【手続補正書】
【提出日】平成29年11月24日(2017.11.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ユーザの姿勢を評価するための方法であって、前記第１ユーザに操作される第１端末による、
所定方向に関するガイダンスを出力するステップと、
前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて、前記第１端末が備える撮像部によって撮像される、前記所定方向に対する第１ユーザの画像を取得するステップと、
サーバを介して第２ユーザの第２端末に前記画像を送るステップと、
前記画像に基づいて決定される前記第１ユーザの姿勢評価、および該姿勢評価に関連付けられるフィードバックを前記サーバから受けて出力するステップと、を含み、
前記第１ユーザの姿勢評価が、前記第２端末によって、前記所定方向に関連付けて特定される前記画像上のランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について決定され、
前記フィードバックが、前記姿勢評価に関連付けられて抽出される動画ファイルを含み、該動画ファイルが前記サーバから前記第１端末に配信されて、前記第１端末で再生される、方法。
【請求項２】
請求項１記載の方法において、前記第１端末が備える表示部に表示される前記第１ユーザの画像を前記第１ユーザが目視しながら、前記第１端末が備える検知部による姿勢検知と連携することにより、前記所定方向に対する第１ユーザの画像が、前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて取得される、方法。
【請求項３】
請求項１または２記載の方法において、
前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記第１ユーザの部位間の距離が推定され、前記第１ユーザの姿勢評価が、前記第１ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、方法。
【請求項４】
請求項１から３の何れか一項記載の方法であって、前記所定方向が、前記第１ユーザの正面上半身方向、正面下半身方向、側面上半身方向、および側面下半身方向の内１つ以上を含む、方法。
【請求項５】
請求項４記載の方法において、前記評価対象項目は、前記正面上半身方向に対する前記第１ユーザの肩の高さ、前記正面上半身方向に対する前記第１ユーザの身体の傾き、前記正面下半身方向に対する前記第１ユーザの骨盤の傾き、前記側面上半身方向に対する前記第１ユーザの上位交差症候群、前記側面下半身方向に対する前記第１ユーザの骨盤の前方移動、および前記側面下半身方向に対する前記第１ユーザの骨盤の傾きの内１つ以上を含む、方法。
【請求項６】
請求項１から５の何れか一項記載の方法において、
前記所定方向の画像を取得するステップにおいて、前記撮像部によって撮像された前記画像が、前記第１端末が具備するセンサを用いて水平方向に自動的にトリミングされる、方法。
【請求項７】
ユーザの姿勢を評価するためのシステムであって、第１端末、第２端末、およびサーバを備え、前記ユーザに操作される前記第１端末が、
所定方向に関するガイダンスを出力する出力部と、
前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて、前記出力部に表示されている前記ユーザの画像を前記所定方向に関連づけて撮像および取得する取得部と、
ネットワークを介して前記ユーザの画像を送信し、前記ユーザの姿勢評価を受信する第１通信部と、を備え、前記第２端末が、
前記画像上で、ランドマークの位置を前記所定方向に関連付けて特定する特定部と、
前記ランドマークの位置に基づいて、前記所定方向に関連付けられる評価対象項目について前記ユーザの姿勢評価を決定する評価部と、
前記ネットワークを介して前記ユーザの画像を受信し、前記ユーザの姿勢評価を送信する第２通信部と、を備え、前記サーバが、
前記第２端末から受信した前記ユーザの姿勢評価に関連付けられるコンテンツを抽出して、前記ユーザにフィードバックするためのフィードバックを生成するフィードバック部を含み、
前記フィードバックが、前記姿勢評価に関連付けられて抽出される動画ファイルを含み、該動画ファイルが前記サーバから前記第１端末に配信されて、前記第１端末で再生される、システム。
【請求項８】
請求項７記載のシステムにおいて、前記第１端末が備える表示部に表示される前記第１ユーザの画像を前記ユーザが目視しながら、前記第１端末が備える検知部による姿勢検知と連携することにより、前記所定方向に対する前記ユーザの画像が、前記ガイダンスとの相互作用による前記第１端末の姿勢調整操作を通じて取得される、システム。
【請求項９】
請求項７または８記載のシステムにおいて、前記画像上の複数の前記ランドマーク間の距離に基づいて、該ランドマークに対応する前記ユーザの部位間の距離が推定され、前記ユーザの姿勢評価が、前記ユーザの部位間の距離に基づいて計算される前記評価対象項目のスコアを含む、システム。