WISS 2023

自身の姿勢を多様な角度から客観的に観察可能な VR 可視化手法
稲増 陸 ∗

井尻 敬 ∗

概要. 本研究では，自身の姿勢を多様な角度から客観的に観察できるツールの実現を目的とし，VirtualReality（VR）技術を利用した可視化手法を提案する．提案手法では，RGB-D センサにより取得したユー
ザ自身の 3 次元モデルが VR 空間にリアルタイムに可視化され，また，そのモデルを移動・回転・拡大縮小・複製・録画しながら観察できる．提案手法は，自身を多様な角度から三人称視点で観察できるため，自身の姿勢の詳細な理解を支援できると期待される．提案手法と実世界の鏡を用いてヨガの姿勢をとった自身を観察する実験を実施したところ，鏡に比べ提案手法の方を用いた場合に，自身の姿勢の問題点に気づきやすい可能性が示唆された．

1

はじめに

日常生活やスポーツにおいて，パフォーマンス向上や怪我の防止に繋がるため良い姿勢をとることは重要である．自身が良い姿勢をとれているかを確認するには，自身を多様な角度から観察する必要がある．一般的に，自身の観察には鏡が利用されるが，鏡を利用する場合は必ず視線を鏡の方向に向ける必要があり，例えば自身の歩行姿勢を横からや上からなど多様な角度から観察することは難しい．
自身の姿勢を 3 次元的に観察するための手法が研究されている．Anderson らは，ユーザが手本に従って動作を行うと，深度センサにより取得した 3 次元骨格情報がスクリーン上に可視化される YouMove シ
ステムを提案した [1]．Roosink らは，Motion Capture 技術を活用し，ユーザの動きをリアルタイムに反映するアバターを表示する Virtual Mirror を提案した [3]．また，Natsuki らも，Motion Captureを活用しユーザの動きを反映するアバターを MixedReality 空間に可視化した [2]．しかし，これらの研究には，アバターを観察できる視点に制限があり，アバターを自由な角度から観察できないという課題がある．
そこで本研究では，自身の姿勢を多様な角度から客観的に観察できるツールの実現を目的とし，Virtual Reality（VR）技術を利用した可視化手法を提案する．具体的には，複数の RGB-D センサによりユーザを計測し，得られた 3 次元モデル（人物モデル）を VR 空間にリアルタイムに可視化する（図 1）．
また，提案手法は，VR 空間にて，人物モデルを自由に移動・回転・拡大縮小・複製・録画できる機能を提供する．提案手法は，客観的な自身の観察を可能にするため，歩行のような日常動作の確認やスポー
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗芝浦工業大学

図 1. 提案システムによる可視化．この例では，自身のモデルを 3 つ複製し，それぞれを回転・拡大縮小することで，一度に多様な角度から自身を 3 次元的に観察している．

ツにおける姿勢の確認への活用が期待される．

2

提案手法

提案システムは，2 台の RGB-D センサ，Azure
Kinect DK（Kinect），と Head Mounted Display，Meta Quest2，より構成される．2 台の Kinect は，約 5m の間隔を開けて向かい合わせで配置される．
ユーザが，Quest2 を装着すると，Kinect より得られた人物モデルが VR 空間にリアルタイムに表示される．
ユーザインタフェース．多様な角度からの客観的な観察のため，提案手法は，人物モデルの移動・回転・拡大縮小・複製・録画機能を提供する．起動時，等身大の人物モデルがひとつだけ VR 空間に提示される．ユーザが，コントローラのトリガーを押すと人物モデルが複製される．また，複製された人物モデルのひとつをコントローラのボタン操作で選択でき，選択したモデルはスティック操作により移動・回転・拡大縮小できる．さらに，スティック押し込WISS 2023

み操作により録画の開始・停止を行える．記録された動画は，自動的に動作する人物モデルとして可視化される．この録画機能は，過去の自身の姿勢の振り返りや現在の自身の姿勢との比較に利用できるだ
けでなく，一人二役でダンスを行うなどの自身とのコラボレーションへの応用も期待できる．
可視化処理．提案手法は，Kinect より得られるRGB-D 画像と人物領域マスクを利用して人物モデルを生成する．具体的には，RGB-D 画像に人物領域マスクを適用し，前景領域画素を色付きの点群として 3 次元空間に配置する．さらに，画像における画素の隣接構造を利用して点群をつなぐことで 3 角形メッシュを構築する．また，本研究では，2 台のKinect より表側と裏側の 2 つの人物モデルが得られる．提案システムでは，片方の人物モデルの並進移動量を手作業で位置合わせすることで，二つのモデルを統合する．

3ユーザスタディ

タスク．提案手法の有用性を確認するため，提案手法を用いた姿勢観察と鏡を用いた姿勢観察を比較する実験を実施する．タスクは次のとおりである．
まず，実験参加者は，ヨガの姿勢である『英雄のポーズ 1』と『英雄のポーズ 2』の理想姿勢について動画を用いた説明を受ける [4]．次に，実験参加者は，2 つの姿勢を順番にとり，その様子を提案手法，または，鏡を用いて観察する（図 2）．観察時，ユーザは，理想姿勢と比べて自身の姿勢の気になる点を口頭で列挙する．順序効果を考慮し，提案手法と鏡を利用する順序は実験参加者ごとに変化させる．
結果と考察．大学生 4 名の協力のもとユーザスタ
ディを実施した．自身の姿勢を観察しながら理想姿勢と比べて気になる点を列挙してもらった結果を図3 に示す．自身の姿勢に対する肯定的なコメントは太字で表記する．実験参加者 AC は，先に提案手法による観察を実施し，実験参加者 BD は先に鏡による観察を実施した．結果より，鏡による観察に比べて，提案手法を利用した方が，自身の姿勢に気になる点が多く列挙されたことがわかる．また，提案手法を利用した場合に，膝の角度に関する指摘やつま先と膝の位置関係に関する指摘など，正面からは観察しにくい部分への指摘も確認された．

4まとめと展望

本研究では，自身の姿勢を多様な角度から客観的に観察できるツールの実現を目的とし，RGB-D センサより得られるユーザの 3 次元モデルを VR 空間にリアルタイムに可視化する手法を提案した．また，自身の多様な角度からの観察を支援するため，自身の 3 次元モデルを移動・回転・拡大縮小・複製・録画するユーザインタフェースを提案した．ユーザス

図 2. 提案システムを利用して，姿勢を確認する様子（a）．鏡を利用して，姿勢を確認する様子（b）．
૞ਸ঻A๢ऋखढऊॉदऌथ઀੧ু১ ःॊএ‫ش‬६1 ጼऋಇलथःऩः
ଌऋ90২दमऩः
઀੧ু১এ‫ش‬६2

૞ਸ঻B

૞ਸ঻C

૞ਸ঻D

ሊभഓ২ऋ90২पऩढथःॊ෗ೕधउ໅ऋ৐प਱ःथःॊ

णऽ੔ऋሊ॑ऒइथ
ःऩःਫએ॑਱ःथऩः
ሊऋ90২दमऩः

ਫએ॑਱ःथःॊฏऋಇलथःॊଌऋઌढઉएपऩढ
थःऩःฏभ਱ऌऋँढथः ሊऋශऋढथःऩः ంฏऋँऋढथःॊ੐੔ऋৄइथःॊ
ॊሊऋ90২दमऩः
ฏऋ঳ઉ଍ంুऋৣऋढथःॊ ମ৬ऋ৐भीॉऩढथःॊ
ऩख෗ೕऋ৐प਱ःथः ሊऋශऋढथःऩः ంଌऋಇलथःॊऩः
ฏऋँऋढथःऩः ฏऋශऋढथःॊ৬भवोथःॊ

ऩखମ৬ऋङोथःॊྰ
এ‫ش‬६1ྰএ‫ش‬६2ฏऋ঳ઉ଍दमऩः ฏऋ঳ઉ଍ሊऋශऋढथःऩः ฏभৈऔमপຣ୏

図 3. 自身の姿勢を観察しながら理想姿勢と比べて気になる点を列挙してもらった結果．自身の姿勢に対して，肯定的なコメントは太字で，否定的なコメントは通常の書体で示す．

タディの結果，鏡を用いた観察と比較して，提案手法を利用すると，自身の姿勢の問題点に気づきやすい可能性が示唆された．
現在確認されている提案手法の課題のひとつは，人物モデルの輪郭部分が途切れてしまう点にある．
またもう一つの課題は，RGB-D センサに対して腕などによる遮蔽が発生した場合に，遮蔽された部分の形状モデルが失われてしまうという課題もある．
今後，Kinect の台数を増やし，その配置を工夫することで，輪郭が途切れにくく遮蔽の影響も少なくなる可視化手法を実現したい．

参考文献[1] F. Anderson, T. Grossman, J. Matejka, andG. Fitzmaurice. YouMove: Enhancing Movement Training with an Augmented Reality Mirror. In Proc.UIST 2013, UIST ’13, p. 311–320,
New York, NY, USA, 2013. Association for Computing Machinery.
[2] N. Hamanishi, T. Miyaki, and J. Rekimoto. Assisting Viewpoint to Understand Own Posture asan Avatar In-Situation. In Proceedings of the 5thInternational ACM In-Cooperation HCI and UX
Conference, CHIuXiD’19, p. 1–8, New York, NY,USA, 2019. Association for Computing Machinery.
[3] M. Roosink, N. Robitaille, B. J. McFadyen,L. J. Hébert, P. L. Jackson, L. J. Bouyer, and自身の姿勢を多様な角度から客観的に観察可能な VR 可視化手法

C. Mercier. Real-time modulation of visual feedback on human full-body movements in a virtual mirror: development and proof-of-concept.
Journal of NeuroEngineering and Rehabilitation,
12:1–10, 2015.
[4] 堀野 洋貴. はじめてのヨガ かんたん 30 日レッス
ン. 大創出版, 2017.