H5-4

実物体の姿勢に適合する仮想モデル描画システムの構築
Development of a Virtual Object Drawing System
suitable for Orientation of Real-object
稲留 広貴*1, 曽我 真人*2
Hiroki Inatome*1, Masato Soga*2*1 和歌山大学システム工学研究科*1Graduate School of Systems Engineering, Wakayama University*2 和歌山大学システム工学部*2Faculty of Systems Engineering, Wakayama University
あらまし：従来の人型の仮想物体を利用した人物画スケッチ学習支援システムでは，事前に用意された人型モチーフを選びスケッチを行うというものであった，そのシステムでは，学習者がリアルタイムで人型モチーフを直感的に操作して好みのポーズに決めることは出来なかった．そこで本研究では改善案として，学習者がデッサン人形をタンジブルインタフェースとして用い，それをリアルタイムに好みのポーズに変化させ，仮想モデルの姿勢を変化させる手法を提案する．具体的には，複数人の特徴点の検出と関係推定を行う OpenPose を用いることによってデッサン人形の関節追従を行う．その上，RGB-D カメラから取得した点群データを処理できる PCL で実物体の 3 次元的な位置・姿勢を取得・トラッキングし，仮想人型モデルを重畳表示させることで，仮想人型モデルの直感的操作を実現するシステムを提案する．
キーワード： OpenPose , PCL, 拡張現実感, 物体追跡, 3DCG, タンジブルユーザインタフェース

1.

はじめに

1.1 研究背景
近年でのスキル学習支援に関する研究は，技能継承だけでなく災害学習やリハビリテーションなどの分野においても広く行なわれている．また，現実空
間 を 仮 想 物 体 に よ っ て 拡 張 す る AR(AugmentedReality)の技術が一般化するにつれて，AR 分野での研究も行われるようになってきている．そこで，ARとの親和性の高い学習支援として，人物画スケッチ学習支援システムが挙げられる．しかし，従来の人型の仮想物体を利用した人物画スケッチ学習支援シ
ステムでは，事前に用意された人型モチーフを選びスケッチを行うというもので，モチーフに対しリアルタイムに自分で好きなポージングをさせることが出来なかった．この問題を解決することによって，より直感的な操作が可能なモチーフ姿勢決定システムが実現できる．
1.2 先行研究
従来の人物画スケッチ学習支援システムに関する研究として，山田卓らが 3DCG の人型モチーフを自由な視点から構図を決定し，人物画スケッチの骨格と輪郭線の診断を行うシステムを構築した研究が挙げられる(1)．しかし，このシステムでは事前に用意された複数のモデルの中から，好きなポージングのモデルを選ぶというもので，自分で好きなポージングを作り出すことが出来ないという，直感的なモデル操作における課題があった．
1.3 研究目標
本研究では，1.2 節で挙げた先行研究の問題点を踏まえて，学習者がデッサン人形をタンジブルユーザインタフェース(2)として用い，それをリアルタイムに好みのポーズに変化させ，仮想人型モデルの姿勢を変化させ，そのモデルを AR で表示する手法を提案する．
デッサン人形をトラッキングし，3D モデルを重畳表示することによって直感的なモデル操作が可能な
AR 描画システムを構築し，提案システムを人物画
スケッチ学習支援システムへ発展させることを目標とする．

2.

システム設計

前章 1.3 節で挙げた目標を達成するために，以下のことを行う．
デッサン人形と仮想人型モデルを用意する
デッサン人形を対象物体として認識させ，3次元的な位置・姿勢と各関節を追従させる

対象物体の参照点群に 3D モデルを重畳表示する
仮想モデルだけではなく実物体も使用することで，仮想モデルの位置や姿勢を重畳表示先の実物体から計測することが可能となる．これにより，前章で挙げた問題点にあった，既存モチーフの視点決定を PC上で行う必要がなく，マーカレス AR として正しい位置・姿勢を推定することが出来る．本研究では，
Web カメラを用いて OpenPose による関節座標の推定を行い，Kinect を用い画像の三次元データを取得
し PCL により対象物体の点群データを解析すること に よ っ て ト ラ ッキ ン グと 重 畳 表 示 を 実 現す る
(3)(4)．
2.1 システム実装― 407 ―本システムでは以下の 3 種類の処理を実装する．
対象物体のリアルタイムな関節座標取得
対象物体のリアルタイムな物体追跡
対象物体への 3D モデル重畳表示

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

まず，OpenPose を用いてデッサン人形の関節座標を取得する．取得出来る関節は 18 カ所であり，関節座標はリアルタイムで 1 フレームごとに json ファイ
ルで書き出される．この座標データを人型 3D モデルに適用することで好みのポージングを実現する．
この際，Web カメラと Kinect の視点の差を最小限に抑えるため，Kinect 上部に設置する．図 1 はデッサン人形の骨格推定をした際の OpenPose の実行結果である．

②，③の精度検証では，条件を合わすために，対象物体の配置地点を揃えた．そして，システムを起動した後対象動作を行うことを１セットとして 6 パターンの移動・回転動作を 20 回ずつ行いその挙動を評価した．図 2 は実験中の画面である．

図 2 実験中のシステム画面
図 1 OpenPose の実行結果
次に，対象物体を追跡するには，まず対象物体を背景から分割化されたモデルとして Kinect から取得する必要がある．そして取得したモデルの点群データをトラッカーとして設定し，対象物体の追跡を行う．これによってフレームごとの点群の動きを推定できる．
最後に，深度センサから取得した実際の点群データを予測粒子と比較し，粒子を再サンプリングする．
この処理の際に得られる，トラッカーの参照点群にテンプレートとして用意した人型 3D モデルの点群を重畳表示する．

検証実験

3.

検証実験は以下の項目を実施した．
①

対象物体の認識限度の検証②

物体移動追跡の精度検証③

物体姿勢追跡の精度検証

精度検証の結果，本システムが位置と姿勢の追跡に適合していることを確認した．

4.

5.

3.1 予備実験
予備実験では，本システムにデッサン人形を用いる妥当性を検証するために，デッサン人形の他に立方体と球を用意し，対象物体の形状によるシステムの挙動の差を確認した．また，立方体と球に近しい形状の 3D モデルとしてウサギ型のモデルを使用した．
予備実験の結果，デッサン人形を使用した場合は3 次元的な移動と回転の両方に適合していることが分かったが，球と立方体は表面の法線ベクトルが一定であり，面の変化に乏しい形状であるため回転の追跡を誤認してしまうことが分かった．
3.2 検証の内容
本システムは物体の把持移動に適合する必要性があったため，認識限度の検証実験を行った．この実験では対象物体の一部を隠す動作を繰り返し，その時の仮想物体が正しく追従できている認識の限度を検証する.

まとめ

本研究では，従来の人物画スケッチ学習システムの問題を解決するために，リアルタイムな把持動作時の位置・姿勢に適合する仮想モデル描画システムの構築を行った．
手法としては，デッサン人形の関節座標取得にOpenPose を用い，デッサン人形を 3 次元的な位置・姿勢を追従するために Kinect と PCL を用いた．
また，検証実験を通して，対象物体にデッサン人形を用いる妥当性を確認し，本システムが把持移動時の位置・姿勢の変化に適合していることが分かった．
今後は，本システムを人物画スケッチ学習支援システムへ発展させていく予定であり，現在はOpenPose から取得したデータを PCL にリアルタイムに反映させるシステム環境を構築している．

参考文献(1) Masato Soga, Suguru Yamada, Hirokazu Taki,Development of a Learning Environment for Human
Body Drawing by Giving Error Awareness for Bonesand Contours 12th International Conference onIntelligent Tutoring Systems，ITS2014，pp.640-643(2) Ishii, H. and Ullmer, B. 1997. Tangible bits: towards
seamless interfaces between people, bits and atoms.
In Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems (Atlanta, Georgia,United States, March 22 - 27, 1997). S. Pemberton,Ed. CHI ‘97. ACM, New York, NY, 234241,DOI:http://doi.acm.org/10.1145/258549.258715(3) Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei,
Yaser Sheikh,” OpenPose: Realtime Multi-Person 2D
Pose Estimation using Part Affinity Fields”, in arXiv
preprint arXiv:1812.08008,2018.
(4) Radu Bogdan Rusu, Steve Cousins,” 3d is here: Point
cloud library (pcl)”, Robotics and automation (ICRA),
2011 IEEE International Conference on, 1-4― 408 ―