関西地区

教育システム情報学会

2017年度学生研究発表会

点群処理を用いた仮想物体の把持移動を可能にするシステムの構築と評価
Development and Evaluation of a System suitable for Gripping
Movement by using PCL
稲留 広貴, 曽我 真人
Hiroki Inatome, Masato Soga
和歌山大学システム工学部
Faculty of Systems Engineering, Wakayama University
あらまし：従来の人型の仮想物体を利用した人物画スケッチ学習支援システムでは，事前に用意された人型モチーフを選びスケッチを行うというものであった，そのシステムでは，学習者がリアルタイムで人型モチーフを直感的に操作して好みのポーズに決めることは出来なかった．そこで本研究では改善案として，学習者がデッサン人形をタンジブルインタフェースとして用い，それをリアルタイムに好みのポーズに変化させ，仮想のモデルの姿勢を変化させる手法を提案する。具体的には，RGB-D カメラから点群データを取得することが出来る PCL を KINECT で用いることによって，実物体の 3 次元座標を取得・トラッキングし，人型の仮想物体を重畳表示させることで直感的操作を実現するシステムを提案する．システムの検証
実験では，幾何的整合性を図る精度検証を行い，システムの改良点について考察した．
キーワード：Kinect , 点群処理 , 拡張現実感 , 物体追跡 , 3DCG ,タンジブルインタフェース

1.

はじめに意する
実物体を対象物体として認識し，トラッキングさせる
l
対象物体の参照点群に 3D モデルを重畳表示する
3D モデルだけではなく実物体も使用することで，3D モデルの位置や姿勢を重畳表示先の実物体の姿勢から計測することが可能となる．これにより，前章で挙げた問題点にあった，既存モチーフの視点決定を PC 上で行う必要がなく，マーカレス AR で正しい位置・姿勢を推定することが出来る．本研究では，三次元画像の取得には Kinect を用い，点群処理
ライブラリ PCL によって対象物体の点群データを取得することによってトラッキングと重畳表示を実現する(3)．本システムの物理構成は図１である．
l

1.1 研究背景
現実空間を仮想物体によって拡張する AR の技術が一般化するにつれて，AR 分野でのスキル学習支援の研究も行われるようになってきている．そこで，AR との親和性の高い学習支援として，人物画スケッチ学習支援システムが挙げられる．しかし，従来のシステムはモチーフに対しリアルタイムに自分で好きなポージングをさせることが出来なかった．この問題を解決することによって，より直感的な操作が可能なモチーフ姿勢決定システムが実現できる．
1.2 先行研究
従来の人物画スケッチ学習支援システムに関する研究として，山田卓らが 3DCG の人型モチーフを自由な視点から構図を決定し，人物画スケッチの骨格と輪郭線の診断を行うシステムを構築した研究が挙げられる(1)．しかし，このシステムでは事前に用意された複数のモデルの中から，好きなポージングのモデルを選ぶというもので，自分で好きなポージングを作り出すことが出来ないという，直感的なモデル操作における課題があった．

Kinect1.3 研究目標
本研究では，1.2 節で挙げた先行研究の問題点を踏まえて，学習者がデッサン人形をタンジブルインタフェース(2)として用い，それをリアルタイムに好みのポーズに変化させ，仮想のモデルの姿勢を変化させ，そのモデルを AR で表示する手法を提案する。
そして，その試作システムの構築と評価を行う．

2.

対象物体

図 1 物理構成

システム設計

前章 1.3 節で挙げた目標を達成するために，以下のことを行う．
l
実物体と，それに近い造形の 3D モデルを用

2.1 システム実装
本システムでは大別して以下の２種類の処理を実143

関西地区

教育システム情報学会

装した．
l
対象物体のリアルタイムな物体追跡l
対象物体への 3D モデル重畳表示
対象物体を追跡するには，まず対象物体を分割化されたモデルとして Kinect から取得する必要がある．
取得したモデルの点群データをトラッカーとして設定し，対象物体の追跡を行う． 物体追跡の処理の流れは，まず以前の粒子の位置と回転の情報を利用して次のフレームでそれぞれの位置と回転を予測する．
次に，これらの粒子の重さを下記の尤度式で計算する(4)．
𝐿" = 𝐿$%&'()*+ ×𝐿*-.-/
𝑤=3.

②，③の精度検証では，条件を合わすために，対象物体の配置地点を揃えた．また，計測をシステム起動した後対象動作を行うことを１セットとしてそれを 20 回ずつ行った．図 2 は実験中の画面である．

𝐿"

図 2

最後に，深度センサから取得した実際の点群データを予測粒子と比較し，粒子を再サンプリングする．
この処理の際に得られる，トラッカーとして設定した分割化されたモデルの参照点群にテンプレートとして用意した人型 3D モデルの点群を重畳表示する．
本システムでは，対象物体に追跡する仮想物体の情報のみを必要とするため，重畳先のモデルの参照点群は描画していない．

検証実験
検証実験は以下の項目を実施した．
①

対象物体の認識限度の検証②

物体移動追跡の精度検証③

物体姿勢追跡の精度検証

3.1 予備実験
本システムでは人物画スケッチ学習システムへの応用のため，対象物体にデッサン人形を使用した．
しかし，形状の異なる対象物体を用いた場合の挙動を考慮し，対象にデッサン人形を用いることの妥当性を検証するために予備実験を行った．予備実験では，デッサン人形の他に立方体と球を用意した．また，立方体と球に近しい形状の 3D モデルとしてウサギ型のモデルを使用した．
予備実験の結果，デッサン人形を使用した場合は３次元的な移動と回転の両方に適合していることが分かった．しかし，球と立方体は移動には適合していたものの，回転には適合し難いということが分かった．これは，表面の法線ベクトルが一定であり，面の変化に乏しい形状であるために，粒子の回転の追跡を誤認してしまうことが原因であると考えられる．

2017年度学生研究発表会

実験中のシステム画面

物体移動追跡の精度検証では，対象物体を３次元的に移動させた時に，仮想物体が対象を見失うことなく正しい位置で追跡できているかを検証した．
物体姿勢追跡の精度検証では，物体を開始地点から動かさず 360 度回転させた時に，仮想物体が対象の回転に正しく追跡できているかを検証した．

4.

まとめ

本研究では，従来の人物画スケッチ学習システムの問題を解決するために，対象動作を把持移動時の位置，姿勢としてシステムの構築を行った．
手法としては，実物体を追跡対象として認識するために，RGB-D カメラである Kinect と点群処理用ライブラリ PCL を用いた．
また，予備実験を通して，対象物体の選定における問題点を明確にした．そして，検証実験を通して，本システムが把持移動時の位置，姿勢の変化に適合していることがわかった．
今後は，本システムを人物画スケッチ学習支援システムへ発展させていく予定である。

5.

参考文献

(1) Masato Soga, Suguru Yamada, Hirokazu Taki,
Development of a Learning Environment for Human
Body Drawing by Giving Error Awareness for Bonesand Contours 12th International Conference onIntelligent Tutoring Systems，ITS2014，pp.640-643(2) Ishii, H. and Ullmer, B. 1997. Tangible bits: towards
seamless interfaces between people, bits and atoms.
In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems (Atlanta,Georgia, United States, March 22 - 27, 1997). S.
Pemberton, Ed. CHI ‘97. ACM, New York, NY,
234-241,DOI:http://doi.acm.org/10.1145/258549.25
8715(3) Radu Bogdan Rusu, Steve Cousins,” 3d is here:
Point cloud library (pcl)”, Robotics and automation(ICRA), 2011 IEEE International Conference on, 1-4(4) Point Cloud Library, Tracking object in real time,
http://pointclouds.org/documentation/tutorials/tracking.php

3.2 検証の内容
本システムは物体の把持移動に適合する必要性があったため，認識限度の検証実験を行った．この実験では対象物体の一部を隠す動作を繰り返し，その時の仮想物体が正しく追従できている認識の限度を検証する.

144