関西地区

教育システム情報学会 2020年度学生研究発表会

深度カメラによるモーションキャプチャを用いたポーズ変更が可能な人体画スケッチ学習支援システムの構築
Development of a Learning Environment for Sketching Human Body
with Pose Change Using Motion Capture by Depth Camera
西田 曉人*1, 曽我 真人*1
Akito NISHIDA*1, Masato SOGA*1*1
和歌山大学システム工学部*1
Faculty of System Engineering, Wakayama University
Email: s226326@wakayama-u.ac.jp
あらまし：人体画スケッチ学習支援システムとは，骨格や輪郭線で手本と成果物を比較し，差分やスコアを返すシステムである．先行研究では，実人型モデルの二次元姿勢推定で取得した二次元座標に機械学習で推測した深度を加えた三次元座標を仮想人型モデルに適応させてポーズ変更を実現していた．そのため，深度の推測に時間がかかり学習と直接関係しない処理に時間を費やしていた．本研究では，その課題を解決するために深度カメラを用いたモーションキャプチャによる三次元姿勢推定で仮想人型モデルのポーズを変更する手法を提案し，それに基づくシステムを構築した．評価実験では，統制群法を用いて実験群と統制群の学習前後のスコアの向上値から有意差検定を行い，本システムの有用性を検証した．
キーワード：学習支援，スキル，スケッチ，人体，Azure Kinect

1.

次に，本システムの構成を図 2 に示す．

はじめに

人体画スケッチ学習支援システムとは，骨格や輪郭線で手本と成果物を比較し，差分やスコアをフィードバックとして返すシステムである．先行研究（1）では，Web カメラから取得した二次元画像でデッサン人形の姿勢推定をし，それに機械学習で推測した深度を加えた三次元座標(三次元骨格データ)を仮想人型モデルに適応させてポーズ変更を実現していた．
そのため，深度の推測に時間がかかり学習と直接関係しない処理に時間を費やしていた．また，デッサン人形を用いたポーズ変更は人体の可動域と異なるために不自然なポーズを手本として学習する可能性があった．さらに，先行研究のスコア算出にはバランスが正しい相似サイズの成果物の評価が低くなるという課題が残されていた．

2.

提案手法とシステム

2.1 モーションキャプチャによる構図決定
本研究では，先行研究におけるポーズ変更の課題を解決するため，深度カメラを用いたモーションキ
ャプチャによる三次元姿勢推定で仮想人型モデルのポーズを変更する手法を提案し，それに基づく人体画スケッチ学習支援システムを構築する．本研究における三次元骨格データの取得の概要図を図 1 に示す．

図 1 本研究における三次元骨格データの取得

167

図 2 本システムの構成
まず，深度カメラである Azure Kinect のモーションキャプチャから取得したリアルタイムの実測データに仮想人型モデルのポーズが対応する．次に，学習者はワイヤレスマウスのクリック操作によって仮想人型モデルのポーズを固定し，学習したい構図を決定する．このフローを構図決定フェーズと呼ぶ．
この際，手本データとして仮想人型モデルの正しい骨格と輪郭線を取得する．そして，それらを用いて骨格を学習する骨格評価フェーズ，輪郭線を学習す
る輪郭線評価フェーズで順に学習する．両評価フェーズでは，後述するスコア算出を行う度に比較重畳画像をフィードバックとして返し，基準スコアを超えるまで同フェーズで繰り返し学習する．なお，本システムでは基準スコアとして 80 を設定している．
骨格評価フェーズにおける比較重畳画像の例を図 3に示す．図 3 において，比較重畳画像は成果物に手本を重畳している．先行研究と同様に最短距離で特徴点を分類して色の濃さで差分を可視化しており，距離が大きくなるにつれて濃い赤色になる．

関西地区

教育システム情報学会 2020年度学生研究発表会

表 1 において P 値が 0.0355 となり，有意水準 5%で帰無仮説が棄却される．したがって，有意差が認められたため，本システムは人体画スケッチ学習として有用であるといえる．また，本システムのユーザビリティ評価を行うために SUS（2）を採用し，被験者のうち実験群 6 名の SUS スコアの平均を求めた．
SUS の結果を図 5 に示す．

図 3 骨格評価フェーズの比較重畳画像
2.2 外接矩形の横縦比の一致率によるスコア算出
本システムでは，手本と成果物において図 4 に示す外接矩形をそれぞれ求める．なお，図 4 において(a)のWidth! とHeight ! は手本の外接矩形の幅と高さを表し，(b)のWidth" とHeight " は成果物の外接矩形の幅と高さを表す．

図 5 SUS の結果(a) 手本図 5 において，SUS スコアの平均は 86.7，標準偏差は 10.6 となった．SUS では馴染みのある作業である場合にスコアが高くなる傾向があり，難しい作業である場合にスコアを平均で 8%低下させる（3）．SUSの傾向を考慮して 8%低下させると 80.2 となった．

(b) 成果物
図 4 外接矩形

図 4 から手本の横縦比をRatio! ，成果物の外接矩形の横縦比をRatio" とする．そして，手本と成果物の外接矩形の横縦比による一致率のスコアをScore#とすると計算式は%&'()!
%&'()

Score$ = / %&'()""%&'()!

× 20 (Ratio! ≤ Ratio" )× 20 (Ratio! > Ratio" )4.

(1)となる．本研究ではScore# (0〜20)を総当たりによる特徴点マッチングのスコア(0〜80)と合計して成果物のスコア(0〜100)を算出する．

3.

まとめ

本研究では，先行研究におけるポーズ変更の課題を解決するため，深度カメラを用いたモーションキャプチャによる三次元姿勢推定で仮想人型モデルのポーズを変更する手法を提案し，それに基づく人体画スケッチ学習支援システムを構築した．さらに，先行研究のスコア算出でバランスが正しい相似サイズの成果物の評価が低くなるという課題を解決する
ため，手本と成果物において総当たりによる特徴点マッチングの他に外接矩形の横縦比による一致率を考慮して成果物のスコア算出を改善した．評価実験
では，有意差検定で有意差が認められたため，本システムが人体画スケッチ学習として有用であることが分かった．また，本システムは SUS において高いユーザビリティ評価であり，多くの人が扱いやすいシステムであるといえる．

評価実験と考察本システムの評価実験では男女 12 名を実験群と統制群に分け，本システムが人体画スケッチ学習として有用であるかを検証するために事前・事後テス
トから得たスコアの向上値で検定を行った．有意差検定にはデータ数が少ないことからデータが正規分布に従うと仮定できないため，Wilcoxon の順位和検定を採用する．Wilcoxon の順位和検定において，帰無仮説に「中央値に差がない」，対立仮説に「中央値に差がある」を設定して片側検定を行う．各群のスコアの向上値における検定結果を表 1 に示す．

参考文献
(1) 稲留広貴, 曽我真人:“タンジブルインタフェースとしてデッサン人形を用いるポーズ変更が可能な人物画
スケッチ学習支援システム”, 人工知能学会論文集,
第 34 回全国大会 （2020）(2) Aaron Bangor，Philip Kortum，James Miller:“Determining
What Individual SUS Scores Mean: Adding an Adjective
Rating Scale ” , JUS ， JOURNAL OF USABILITYSTUDIES Vol. 4，Issue 3，May 2009．pp. 114-123 （2009）(3) User Experience Magazine:“SUStisfied? Little-Known
System Usability ScaleFacts”, https://uxpamagazine.org/
sustified, 2020 年 1 月 18 日閲覧 （2011）

表 1 各群のスコアの向上値における検定結果
実験群
統制群
11.6667
平均−0.5000
10.9815
7.1528
標準偏差0.0355
P値168