(57)【要約】【課題】センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能な情報処理装置及び情報処理方法を提供する。【解決手段】ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、を備える情報処理装置。【選択図】図１
2016143402.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、
前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、
を備える情報処理装置。
【請求項２】
前記推定部は、前記複数の部位の配置の推定結果に基づいて、前記複数のセンサ装置の配置を推定する、請求項１に記載の情報処理装置。
【請求項３】
前記計算部は、前記複数の部位の全体におけるＺＭＰ（zero  moment  point）を計算する、請求項１に記載の情報処理装置。
【請求項４】
前記複数の部位は、前記ユーザの両足である、請求項１に記載の情報処理装置。
【請求項５】
前記センサ装置は、インソール型である、請求項４に記載の情報処理装置。
【請求項６】
前記複数の部位は、前記ユーザの両手である、請求項１に記載の情報処理装置。
【請求項７】
前記推定部は、前記撮像画像に含まれる前記複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、前記複数の部位の配置を推定する、請求項１に記載の情報処理装置。
【請求項８】
前記推定部は、前記撮像画像に含まれる前記複数の部位を画像認識することで、前記複数の部位の配置を推定する、請求項１に記載の情報処理装置。
【請求項９】
前記推定部は、前記複数の部位の動作に応じて繰り返し推定する、請求項１に記載の情報処理装置。
【請求項１０】
前記取得部は、前記センサ装置から送信された前記測定結果を示す情報を取得する、請求項１に記載の情報処理装置。
【請求項１１】
前記取得部は、前記撮像画像に含まれる前記複数の部位に設けられた表示装置に表示された表示内容から前記測定結果を示す情報を取得する、請求項１に記載の情報処理装置。
【請求項１２】
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、
推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、
を含むプロセッサにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年、様々な分野において、情報処理技術を適用する試みが行われている。その一例として、スポーツの分野において、競技者の身体の動きを可視化する技術が挙げられる。競技者は、多様なセンサ装置を用いて自身の身体の動きを測定・記録することで、スポーツに応じた動作が円滑に行われているか否かを確認することが可能となる。それにより、競技者は、可視化された身体の動きを参考に容易にフォーム改善等を行うことが可能である。【０００３】
身体の動きを可視化する技術には、モーションキャプチャー含め多様な方法がある。例えば、下記特許文献１では、対象者に照射した光の反射波が受光されるまでのタイムラグに応じて距離を算出した距離画像に基づいて、対象者に貼付されたマーカーの三次元空間における座標を算出し、対象者の姿勢を示す値を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２０６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載された技術は、対象者の姿勢を示す情報が算出可能であるに留まっていた。対象者に関し、各種センサ装置により検出されたセンサ情報は、検出された時点での対象者の姿勢によって異なる意味を持つ場合があると考えられる。そこで、本開示では、センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能な、新規かつ改良された情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、を備える情報処理装置が提供される。【０００７】
また、本開示によれば、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、を含むプロセッサにより実行される情報処理方法が提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、センサ情報から対象者の姿勢を加味した有用な情報を得ることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】ＺＭＰの概要を説明するための図である。
【図２】片足のＺＭＰの算出方法を説明するための図である。
【図３】両足のＺＭＰの算出方法を説明するための図である。
【図４】本実施形態に係るセンシングシステムの論理的な構成の一例を示すブロック図である。
【図５】本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【図６】本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【図７】本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【図８】本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【図９】本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【図１０】本実施形態に係るセンシングシステムにおいて実行される両足のＺＭＰの計算処理の流れの一例を示すフローチャートである。
【図１１】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じてセンサ装置２００Ａ、２００Ｂ及び２００Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、センサ装置２００Ａ、２００Ｂ及び２００Ｃを特に区別する必要が無い場合には、単にセンサ装置２００と称する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概要
１．１．ＺＭＰについて
１．２．技術的課題
２．構成例
３．機能詳細
３．１．配置推定機能
３．２．更新機能
３．３．情報取得機能
３．４．ＺＭＰ計算機能
４．動作処理例
５．ハードウェア構成例
６．まとめ
【００１３】
＜＜１．概要＞＞
＜１．１．ＺＭＰについて＞
本開示の一実施形態では、センサ情報から得る有用な情報の一例として、ＺＭＰ（zero  moment  point）に着目する。ＺＭＰとは、床反力の圧力中心である。以下、図１〜図３を参照して、ＺＭＰについて詳細に説明する。
【００１４】
図１は、ＺＭＰの概要を説明するための図である。図１の符号１０は、足裏にかかる体の荷重を示すベクトルである。符号１０に示すように、身体の荷重は足裏の地面に接する面全体に同符号でかかる。これらの荷重は、足裏の面の内部に存在する１点に作用する等価な力ベクトルＲとしてまとめることができる。この力ベクトルＲが通過する作用点が、ＺＭＰである。
【００１５】
図２は、片足のＺＭＰの算出方法を説明するための図である。図２に示すように、足裏における任意の位置の位置ベクトルを（Ｐｊｘ，Ｐｊｙ）とし、当該位置において床面から受ける力のＺ成分をｆｊｚとする。片足のＺＭＰの位置ベクトル（Ｐｘ，Ｐｙ）は、次式により算出される。
【００１６】
【数１】
2016143402.tif 000003
【００１７】
図３は、両足のＺＭＰの算出方法を説明するための図である。図３に示すように、右足のＺＭＰの位置ベクトルを（ＰＲｘ，ＰＲｙ）とし、当該位置において床面から受ける力のＺ成分をｆＲｚとする。また、左足のＺＭＰの位置ベクトルを（ＰＬｘ，ＰＬｙ）とし、当該位置において床面から受ける力のＺ成分をｆＬｚとする。両足のＺＭＰの位置ベクトル（Ｐｘ，Ｐｙ）は、次式により算出される。
【００１８】
【数２】
2016143402.tif 000004
【００１９】
＜１．２．技術的課題＞
スポーツの分野では、競技者が自身の体重移動を認識することが、上達の支援のために重要な場合がある。例えば、ゴルフのスウィング動作等の特定の動作における体重の移動に関し、動作と体重移動のタイミング、移動の量等を競技者が認識することで、上達がより早くなり得る。
【００２０】
このような体重移動を測定可能な機器の一例として、人が上に乗ることが可能な平板を備え、平板に乗った物体への床反力を測定するフォースプレートがある。しかし、フォースプレートは、平板という限られた範囲内の物体やその範囲内で行われる動作に測定対象が限定されたり、設置場所が室内に限られたり、水平に設置する必要がある等の制限が課せられる場合がある。
【００２１】
他の機器の一例として、インソール型の圧力分布センサがある。インソール型の圧力分布センサは、インソール上に圧力センサがひとつ以上配置され、センサを装着したユーザの足裏にかかる圧力の分布を測定可能である。インソール型の圧力分布センサは、上述した制限が課せられないため、フォースプレートよりも利便性が高いと言える。しかしながら、インソール型のセンサでの測定では、両足の配置関係（位置ベクトル）が未知であるため、上記数式２を用いて両足のＺＭＰを算出することは困難であった。
【００２２】
そこで、上記事情を一着眼点にして、本開示の一実施形態に係るセンシングシステムを創作するに至った。本実施形態に係るセンシングシステムは、ユーザの姿勢を推定して、センサ情報からユーザの姿勢を加味した有用な情報を得ることが可能である。具体的には、本実施形態に係るセンシングシステムは、ユーザの両足の姿勢を推定して、両足のインソール型のセンサの各々から得られた圧力分布に基づいて、両足のＺＭＰを算出することが可能である。
【００２３】
以上、本実施形態に係るセンシングシステムの概要を説明した。以下、図４〜図１１を参照して、本実施形態に係るセンシングシステムについて詳細に説明する。
【００２４】
＜＜２．構成例＞＞
図４は、本実施形態に係るセンシングシステム１の論理的な構成の一例を示すブロック図である。図４に示すように、本実施形態に係るセンシングシステム１は、情報処理装置１００、センサ装置２００及びカメラ３００を含む。
【００２５】
センサ装置２００は、対象物に関する情報を測定する機能を有する。例えば、センサ装置２００は、ユーザの体のうち装着された部位の圧力分布を測定する圧力分布センサにより実現される。例えば、センサ装置２００は、ユーザの両足の足裏に装着される上述したインソール型の圧力分布センサとして実現されてもよい。両足のＺＭＰは、例えばゴルフのスウィング動作に関して有用である。インソール型の圧力分布センサを用いる場合、情報処理装置１００は、ゴルフやスキーのように、シューズやスキー板等の道具を履く競技についても、両足のＺＭＰを計算することが可能となる。また、センサ装置２００は、ユーザの両手に装着されるグローブ型の圧力分布センサとして実現されてもよい。両手のＺＭＰは、例えば体操選手の倒立動作に関して有用である。他にも、センサ装置２００は、加速度センサ及びジャイロセンサ等の慣性センサ、筋電センサ、神経センサ、脈拍センサ及び体温センサ等の生体センサ、振動センサ又は地磁気センサ等により実現されてもよい。以下では、インソール型の圧力分布センサが用いられる例を想定して説明する。
【００２６】
カメラ３００は、画像（静止画像／動画像）を撮像する機能を有する。カメラ３００は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。カメラ３００は、デジタル信号とされた撮影画像のデータを情報処理装置１００へ出力する。カメラ３００と情報処理装置１００との間では有線通信が行われてもよいし、無線通信が行われてもよい。
【００２７】
情報処理装置１００は、複数のセンサ装置２００から得られたセンサ情報から、ユーザの姿勢を加味した有用な情報を算出する。図４に示すように、情報処理装置１００は、通信部１１０、記憶部１２０及び制御部１３０を含む。
【００２８】
通信部１１０は、外部機器との間でデータの送受信を行う通信モジュールである。例えば、通信部１１０は、センサ装置２００及びカメラ３００との間でデータの送受信を行う。通信部１１０は、例えば無線ＬＡＮ（Local  Area  Network）、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、センサ装置２００及びカメラ３００と直接的に、又はネットワークアクセスポイント等の他の通信ノードを経由して間接的に通信する。通信部１１０は、有線ＬＡＮ等の方式で、外部機器と有線通信してもよい。
【００２９】
記憶部１２０は、所定の記録媒体に対してデータの記録再生を行う部位である。例えば、記憶部１２０は、複数のセンサ装置２００から受信されたセンサ情報を記憶する。
【００３０】
制御部１３０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。図４に示すように、制御部１３０は、取得部１３１、推定部１３３及び計算部１３５として機能する。
【００３１】
取得部１３１は、複数のセンサ装置２００からセンサ情報を取得する機能を有する。推定部１３３は、センサ装置２００が装着された複数の部位の配置を推定する機能を有する。計算部１３５は、取得部１３１により取得されたセンサ情報から推定部１３３による推定結果を加味した有用な情報を計算する機能を有する。
【００３２】
以上、本実施形態に係るセンシングシステム１の構成例を説明した。続いて、図５〜図９を参照して、本実施形態に係るセンシングシステム１が有する機能を詳細に説明する。
【００３３】
＜＜３．機能詳細＞＞
＜３．１．配置推定機能＞
情報処理装置１００（例えば、推定部１３３）は、センサ装置２００の配置を推定する。本実施形態では、推定部１３３は、インソール型のセンサ装置２００のように、互いに離隔し、且つ動的に配置関係が変化し得る複数のセンサ装置２００の配置を推定する。
【００３４】
具体的には、まず、推定部１３３は、センサ装置２００が装着された複数の部位を含んだ撮像画像に基づいて当該複数の部位の配置を推定する。例えば、推定部１３３は、インソール型のセンサ装置２００が装着された両足をカメラ３００により撮像した撮像画像に基づいて、両足の配置を推定する。そして、推定部１３３は、複数の部位の配置の推定結果に基づいて、複数のセンサ装置２００の配置を推定する。例えば、推定部１３３は、推定された右足と左足との成す角度や距離に、足とインソール型のセンサ装置２００との相対的な配置関係を反映させることで、インソール上に設けられた圧力センサの各々の位置ベクトルを推定する。
【００３５】
ここで、撮像画像に基づく配置の推定方法は多様に考えられる。
【００３６】
例えば、推定部１３３は、撮像画像に含まれる複数の部位を画像認識することで、複数の部位の配置を推定してもよい。具体的には、推定部１３３は、靴の形状、模様及びサイズ等のデザイン情報を予め取得しておき、両足の靴が写された撮像画像を対象としてデザイン情報に基づいた画像認識を行うことで、両足の配置を推定してもよい。推定部１３３は、サーバ等からデザイン情報を取得してもよいし、靴に設けられたＱＲコード（登録商標）等の情報コードを画像認識することでデザイン情報を取得してもよい。
【００３７】
例えば、推定部１３３は、撮像画像に含まれる複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、複数の部位の配置を推定してもよい。具体的には、推定部１３３は、両足の靴にそれぞれ設けられたＡＲ（Augmented  Reality）マーカーが写された撮像画像に基づいて、ＡＲマーカーの位置及び姿勢を推定することで、両足の配置を推定してもよい。例えば、推定部１３３は、靴の形状、並びにＡＲマーカーの形状、ＡＲマーカーの取り付け位置及び取り付け角度等を示すデザイン情報を予め取得しておく。そして、推定部１３３は、ＡＲマーカーの位置及び姿勢を推定し、デザイン情報を用いて推定結果から両足の配置を算出する。推定部１３３は、サーバ等からデザイン情報を取得してもよいし、靴に設けられたＱＲコード等の情報コードを画像認識することでデザイン情報を取得してもよい。また、推定部１３３は、靴のどの部分にＡＲマーカーが設けられているかを示す情報を、サーバ等から取得してもよい。これにより、ＡＲマーカーの認識のための負荷が軽減される。
【００３８】
ＡＲマーカーの位置及び姿勢を推定するためのアルゴリズムとしては、例えば「加藤博一，Mark  Billinghurst，浅野浩一，橘啓八郎：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，TVRSJ，Vol．4，No．4，1999」に開示されている。以下、図５〜図９を参照して、アルゴリズムの一例を説明する。
【００３９】
（アルゴリズム例）
図５〜図９は、本実施形態に係るＡＲマーカーを用いた配置推定機能を説明するための図である。
【００４０】
図５は、センシングシステム１の設定例を示している。図５に示した例では、情報処理装置１００はスマートフォンであり、センサ装置２００Ａ及び２００Ｂはインソール型の圧力分布センサであり、カメラ３００はユーザの後ろからユーザの両足を撮像する。図５に示すように、ユーザが両足に履く靴の踵部分にＡＲマーカー２０Ａ及び２０Ｂが設けられており、カメラ３００はＡＲマーカー２０Ａ及び２０Ｂを撮像することができる。なお、図５に示した例以外にも、例えば両足の甲を上から撮影するカメラが設けられ、両足の甲にＡＲマーカーが設けられていてもよい。
【００４１】
図６は、カメラ３００により撮像された撮像画像の一例を示している。図６に示すように、カメラ３００により撮影された撮像画像には、ＡＲマーカー２０Ａ及び２０Ｂが含まれている。推定部１３３は、以下に説明するアルゴリズムを用いて、図６に一例を示した撮像画像から、ＡＲマーカー２０Ａ及び２０Ｂの位置及び姿勢をそれぞれ推定する。
【００４２】
本アルゴリズムでは、マーカー座標系（３Ｄ）、カメラ座標系（３Ｄ）、理想スクリーン座標系（２Ｄ）及び観測スクリーン座標系（２Ｄ）の４つの座標系を用いる。マーカー座標系は、仮想オブジェクトを表現する際に用いる座標系である。カメラ座標系は、焦点位置を原点、画像平面に垂直な方向をＺ軸、画像のｘ軸及びｙ軸に平行な方向をそれぞれＸ軸及びＹ軸とした座標系である。なお、マーカー座標系で表現された点は、回転移動及び平行移動によりカメラ座標系に変換可能である。理想スクリーン座標系は、投影される画像平面の座標系である。観測スクリーン座標系は、実際のカメラ画像の座標系であり、理想スクリーン座標系から広角レンズのゆがみを考慮した座標系である。理想スクリーン座標系とカメラ座標系との間は、透視変換モデルを用いて変換可能である。理想スクリーン座標系とマーカー座標系とのの間も、透視変換モデルを用いて変換可能である。
【００４３】
本アルゴリズムでは、マーカー座標系（３Ｄ）からカメラ座標系（３Ｄ）への座標変換行列を求める。この座標変換行列は、回転移動成分と平行移動成分とから成る。
【００４４】
事前に、推定部１３３は、理想スクリーン座標系及びカメラ座標系の透視変換モデルのパラメータを、キャリブレーションにより求める。
【００４５】
カメラ画像が取得されると、推定部１３３は、カメラ画像（観測スクリーン座標系）から歪みを補正して、理想スクリーン座標系上のマーカーの頂点位置を求める。具体的には、推定部１３３は、マーカーを二値化（白黒画像化）し、マーカーの輪郭を検出して頂点位置を求める。
【００４６】
次いで、推定部１３３は、事前に算出しておいた透視変換モデルを用いて、理想スクリーン座標系上のマーカーの頂点位置をカメラ座標系に写像する。具体的には、図７に示すように、推定部１３３は、投影面３１に写ったマーカーの４辺をカメラ３００の投影方向に伸ばして面３２を作る。そして、推定部１３３は、事前のカメラキャリブレーションによって得られたカメラの内部パラメータを用いて、これらの辺とカメラの光学中心を結んだ４つの面３３を作る。
【００４７】
そして、推定部１３３は、向かい合った面の交線ベクトルを求める。具体的には、推定部１３３は、図８に示すように、向かい合った面３３Ａ及び３３Ｂの交線ベクトル３４Ａを求める。また、推定部１３３は、図９に示すように、向かい合った面３３Ｃ及び３３Ｄの交線ベクトル３４Ｂを求める。さらに、推定部１３３は、２つの交線ベクトルから外積を計算する。これにより、マーカーの回転移動成分が求まる。
【００４８】
次に、推定部１３３は、マーカーの４つの頂点の、画像座標系における位置とマーカーの大きさとからマーカー座標系のおける位置を求める。そして、推定部１３３は、マーカー座標系におけるマーカーの位置、回転移動成分の情報、及びキャリブレーションの情報から、マーカーの平行移動成分の情報を求める。
【００４９】
以上説明した処理により、推定部１３３は、キャリブレーション情報、マーカーの回転移動成分及び平行移動成分の情報を求める。推定部１３３は、これらの情報を用いることで、理想スクリーン座標系上のマーカーの位置情報から、カメラ座標系でのマーカーの位置及び姿勢を求めることができる。
【００５０】
＜３．２．更新機能＞
情報処理装置１００（例えば、推定部１３３）は、センサ装置２００が装着された複数の部位の配置を、逐次的に推定して推定結果を更新してもよい。例えば、推定部１３３は、複数の部位の動作に応じて繰り返し配置を推定してもよい。例えば、走るユーザと並走してカメラ３００が移動する機構により継続的に撮像されたユーザの画像から、推定部１３３は、走るユーザの両足の配置を繰り返し推定する。
【００５１】
これにより、センシングシステム１は、動くユーザの両足の配置をリアルタイムに取得することが可能である。例えば、センシングシステム１は、フォースプレートの平板よりも広い範囲を動き回るユーザについても、両足のＺＭＰを継続的に算出することができる。また、センシングシステム１は、走るユーザの着地した両足の幅から歩幅等の情報を算出することができる。
【００５２】
＜３．３．情報取得機能＞
（情報取得機能）
情報処理装置１００（例えば、取得部１３１）は、複数のセンサ装置２００からセンサ情報を取得する。
【００５３】
例えば、取得部１３１は、センサ装置２００から送信されたセンサ情報を取得してもよい。例えば、センサ装置２００は、通信用インタフェースを有し、センサ情報を情報処理装置１００へ無線通信又は有線通信を用いて送信する。そして、情報処理装置１００は、センサ装置２００から送信されたセンサ情報を、通信部１１０を経由して取得する。
【００５４】
例えば、取得部１３１は、撮像画像に含まれる複数の部位に設けられた表示装置に表示された表示内容からセンサ情報を取得してもよい。例えば、靴の踵や甲等にセンサ情報を表す情報コードを表示する電子ペーパー等の表示装置が形成され、インソール型のセンサ装置２００がセンサ情報を表示装置に表示させる。そして、取得部１３１は、この表示装置が撮像された撮像画像を画像認識することで、情報コードに表されたセンサ情報を取得する。この場合、センサ装置２００は、通信用インタフェースを有さなくてもよく、且つ情報処理装置１００は、通信部１１０を有さなくてもよい。
【００５５】
＜３．４．ＺＭＰ計算機能＞
情報処理装置１００（例えば、計算部１３５）は、推定部１３３により推定された複数の部位の配置に基づいて、取得部１３１により取得されたセンサ情報から複数の部位に関する情報を計算する。例えば、計算部１３５は、センサ装置２００の配置に基づいて、複数のセンサ情報から、センサ装置２００が装着された複数の部位の全体における情報を計算する。このような情報としては、例えばＺＭＰが挙げられる。インソール型のセンサ装置２００に関しては、計算部１３５は、推定部１３３により推定されたインソール上に配置された圧力センサの位置ベクトル、及び取得部１３１により取得されたセンサ情報を上記数式１及び２に代入することで、両足のＺＭＰを計算する。
【００５６】
以上、本実施形態に係るセンシングシステム１が有する機能を詳細に説明した。続いて、図１０を参照して、本実施形態に係るセンシングシステム１の動作処理例を説明する。
【００５７】
＜＜４．動作処理例＞＞
図１０は、本実施形態に係るセンシングシステム１において実行される両足のＺＭＰの計算処理の流れの一例を示すフローチャートである。
【００５８】
まず、ステップＳ１０２で、センシングシステム１は、初期化処理を行う。例えば、センシングシステム１は、情報処理装置１００がカメラ３００から撮像画像を取得するための設定や、カメラ３００の内部パラメータの設定、ＡＲマーカーのロード、及びカメラ３００による撮像の開始処理等を行う。
【００５９】
次いで、ステップＳ１０４で、センシングシステム１は、センサ情報を取得する。例えば、情報処理装置１００は、ユーザの両足に装着されたインソール型のセンサ装置２００から、圧力分布を受信する。
【００６０】
次に、ステップＳ１０６で、センシングシステム１は、撮像画像を取得する。例えば、ユーザの後ろに設けられたカメラ３００が、ユーザが両足に履く靴の踵部分に設けられたＡＲマーカーを含む撮像画像を撮像して、情報処理装置１００へ送信する。
【００６１】
次いで、ステップＳ１０８で、センシングシステム１は、ＡＲマーカーの位置及び姿勢を推定する。例えば、情報処理装置１００は、上述したアルゴリズムを用いて、両足の踵部分に設けられたＡＲマーカーの位置及び姿勢を推定する。
【００６２】
次に、ステップＳ１１０で、センシングシステム１は、センサ装置２００の配置を推定する。例えば、情報処理装置１００は、ＡＲマーカーの位置及び姿勢に基づいて、インソール上に設けられた圧力センサの各々の位置ベクトルを推定する。
【００６３】
そして、ステップＳ１１２で、センシングシステム１は、両足のＺＭＰを計算する。例えば、情報処理装置１００は、推定した圧力センサの位置ベクトル及び取得したセンサ情報を上記数式１及び２に代入することで、両足のＺＭＰを計算する。
【００６４】
終了されるまでの間（ステップＳ１１４／ＮＯ）、上記ステップＳ１０４〜Ｓ１１２が繰り返される。終了される場合（ステップＳ１１４／ＹＥＳ）、ステップＳ１１６で、センシングシステム１は、終了処理を行う。例えば、センシングシステム１は、カメラ３００の撮影終了処理やクリーンアップ処理等を行う。
【００６５】
＜＜５．ハードウェア構成例＞＞
最後に、図１１を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１１に示す情報処理装置９００は、例えば、図４に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【００６６】
図１１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【００６７】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１３０を形成し得る。
【００６８】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【００６９】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００７０】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【００７１】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す記憶部１２０を形成し得る。
【００７２】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【００７３】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。本実施形態では、接続ポート９１１は、例えば、図４に示すカメラ３００が接続され得る。
【００７４】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図４に示す通信部１１０を形成し得る。
【００７５】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００７６】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【００７７】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【００７８】
＜＜６．まとめ＞＞
以上、図１〜図１１を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、情報処理装置１００は、ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置２００からセンサ情報を取得し、センサ装置２００が装着された複数の部位を含んだ撮像画像に基づいて当該複数の部位の配置を推定する。そして、情報処理装置１００は、推定された複数の部位の配置に基づいて、取得されたセンサ情報から複数の部位に関する情報を計算する。これにより、情報処理装置１００は、センサ情報から対象者の姿勢を加味した、例えば両足のＺＭＰ等の有用な情報を得ることが可能である。
【００７９】
例えば、センサ装置２００は、インソール型であってもよい。この場合、情報処理装置１００は、フォースプレートを用いなくても、両足のＺＭＰを計算することができる。また、ゴルフのスイング動作のように、地面から足が離れるような動作に関しては、情報処理装置１００は、両足の姿勢などの圧力分布以外の情報を得ることができる。
【００８０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８１】
例えば、上記実施形態では、情報処理装置１００はスマートフォンとして実現される例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置１００は、タブレット端末、ＰＣ又はネットワーク上のサーバ等の任意の装置として実現されてもよい。
【００８２】
また、情報処理装置１００は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図４に示した情報処理装置１００の機能構成例のうち、記憶部１２０及び制御部１３０が、通信部１１０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。また、情報処理装置１００は、センサ装置２００又はカメラ３００と一体的に形成されてもよい。
【００８３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得する取得部と、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定する推定部と、
前記推定部により推定された前記複数の部位の配置に基づいて、前記取得部により取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算する計算部と、
を備える情報処理装置。
（２）
前記推定部は、前記複数の部位の配置の推定結果に基づいて、前記複数のセンサ装置の配置を推定する、前記（１）に記載の情報処理装置。
（３）
前記計算部は、前記複数の部位の全体におけるＺＭＰ（zero  moment  point）を計算する、前記（１）又は（２）に記載の情報処理装置。
（４）
前記複数の部位は、前記ユーザの両足である、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記センサ装置は、インソール型である、前記（４）に記載の情報処理装置。
（６）
前記複数の部位は、前記ユーザの両手である、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（７）
前記推定部は、前記撮像画像に含まれる前記複数の部位に設けられたマーカーの各々の位置及び姿勢を推定することで、前記複数の部位の配置を推定する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記推定部は、前記撮像画像に含まれる前記複数の部位を画像認識することで、前記複数の部位の配置を推定する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記推定部は、前記複数の部位の動作に応じて繰り返し推定する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記取得部は、前記センサ装置から送信された前記測定結果を示す情報を取得する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記取得部は、前記撮像画像に含まれる前記複数の部位に設けられた表示装置に表示された表示内容から前記測定結果を示す情報を取得する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１２）
ユーザの体のうち装着された部位の圧力分布を測定する複数のセンサ装置から測定結果を示す情報を取得することと、
前記センサ装置が装着された複数の部位を含んだ撮像画像に基づいて前記複数の部位の配置を推定することと、
推定された前記複数の部位の配置に基づいて、取得された前記測定結果を示す情報から前記複数の部位に関する情報を計算することと、
を含むプロセッサにより実行される情報処理方法。
【符号の説明】
【００８５】
１        センシングシステム
１００    情報処理装置
１１０    通信部
１２０    記憶部
１３０    制御部
１３１    取得部
１３３    推定部
１３５    計算部
２００    センサ装置
３００    カメラ
【図１】
2016143402.tif 000005
【図２】
2016143402.tif 000006
【図３】
2016143402.tif 000007
【図４】
2016143402.tif 000008
【図５】
2016143402.tif 000009
【図６】
2016143402.tif 000010
【図７】
2016143402.tif 000011
【図８】
2016143402.tif 000012
【図９】
2016143402.tif 000013
【図１０】
2016143402.tif 000014
【図１１】
2016143402.tif 000015
【国際調査報告】
2016143402.tif 000016
2016143402.tif 000017