情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B3-8
2014/2/28

実時間の点群データに対する力覚インタラクションのための時間的補間性能の検証
山崎健一†1橋本渉†2

西口敏司†2水谷泰治†2

実物体の点群データは、深度センサを用いることによって容易に取得できるようになった．しかし，深度センサの更新速度が力覚提示の更新速度に比べて遅い．そのため，深度センサで取得した高速に動く物体に対する力覚提示は，衝突物体に対して貫通するという問題が起きる．我々は，この問題に対処するために，深度センサの変化を推定するために ICP アルゴリズムを適用することによって，仮想的に更新速度を増加させた．一方，高精度の力覚提示には高い更新速度が必要であるため，深度センサの更新速度も力覚提示装置の更新速度と同程度必要である．そこで，本研
究では，提案手法を用いて仮想的に深度センサの更新速度をどの程度まで増加させることが可能か検証を行った．

Confirmation of the Performance of Time-Scale Interpolation for a
Haptic Interaction Method of Live Streaming Point Cloud Data
KENICHI YAMASAKI†1 WATARU HASHIMOTO†2SATOSHI NISHIGUCHI†2 YASUHARU MIZUTANI†2Recently, point cloud data of real objects can be easily obtained by using the depth sensor. However, the update rate of the depthsensor is slower than the update rate of the haptic device. Therefore, the haptic rendering of fast moving object captured by thedepth sensor causes pass-through problem of collider objects. To avoid the problem, we applied the ICP algorithm to estimate
interpolation data of the depth sensor in order to increase the apparent of the update rate. The apparent of the rate should be highand similar to the rate of the haptic device because high-quality haptic rendering requires a high update rate of the haptic. Then
we confirmed that our method has a potential to increase the apparent of the update rate of the sensor.

1. はじめに実空間を認識するのに利用される装置の 1 つとして深度高い更新速度が必要となってくる．十分な力覚提示の性能を引き出すには，描画用データの更新速度を力覚提示装置の更新速度と同程度必要である．

センサがある．深度センサを使うことで，非接触で 3 次元

そこで，本研究では， 仮想的に 深度センサの更新速度をの構造を動的に把握することが出来る．深度センサで取得どの程度向上させることが出来るのかを検証するとともに，したデータは，仮想空間上に点群データとして反映するこ

様々な更新速度の装置に対応可能かを確かめた(図 1)．とが出来る．そこで，深度センサにより取得したデータから表現された点群データに対して力覚提示をすることが出来れば，遠くにあり実際に触れないものや，触ると危険などの理由で直接触れないものを触っているような感覚を提示することが出来るようになる．例えば，直接触るには危険な動物を触っているような感覚を提示することが出来るようになる．また，テレプレゼンスなど遠隔地に対する提示においても実用性があると考えられる．
深度センサの更新速度は 30Hz と力覚提示装置の約 1kHzに比べれば遅い．そのため，実時間で取得した点群データ

図 1 異なる更新速度の力覚提示装置を用いた場合に対して急激な変化が生じれば力覚提示が正しく行われな

Figure 1 Case of using the haptic device of different update rate

い更新速度のギャップの問題がある．そこで，我々は深度センサの更新速度を仮想的に向上させる方法を提案した[1]．
また，一般的に用いられている力覚提示装置の更新速度は約 1kHz である．高精度の力覚提示を行うには，さらに

2. 関連研究
深度センサにより取得された点群データに対して力覚提示する方法として，プロキシという概念を適用した方法が†1 大阪工業大学大学院情報科学研究科
Graduate School of Information Science and Technology, Osaka Institute ofTechnology†2 大阪工業大学情報科学部
Faculty of Information Science and Technology, Osaka Institute of Technology© 2014 Information Processing Society of Japan

いくつか存在する．
Fredrik らは，プロキシに 3 つの異なる大きさの同心球を定義し，点群データとプロキシの位置関係により状態を変460化させ，その変化から加速度を推定することで動的物体に行列の算出が完了しなければ，深度センサの更新速度に影対しての力覚提示を行っている．また，深度センサから取響を及ぼす．しかし，本実験の結果より，同次変換行列算得したデータがカメラ座標で表現されていることを利用し，出時間は 33ms より早く，影響がないことが分かった．まプロキシの座標をカメラ座標に変換し，変換した座標を中た，データ取得間隔である 33ms よりも長くデータ作成を心とした正方領域のデータだけを参照することで，参照す行えば，提示される視覚情報の遅れが蓄積されてしまう問

るデータ数を減らしている[2]．

題が起きる．そのため，データ作成可能時間の最大は 33ms

3. 提案手法
3.1 深度センサを用いた力覚提示の問題点
関連研究[2]では，参照する点群データを減らすことで，接触判定の計算を高速に行っている．しかし，深度センサの更新速度は力覚提示装置の更新速度の約 1kHz に比べて，である．データ作成可能な最大時間と本実験の結果より，作成可能な最大データ数は，3300 であることが分かる．このことから，最大 99kHz まで仮想的に更新速度を増幅させることが可能であることが分かった．
4.2 更新速度の異なる装置を用いた検証
更新速度の異なる装置においても対応可能かを確認する

30Hz とはるかに遅い．そのため，高速な移動物体のデータために[1]で用いた装置とは異なる Falcon を用いて移動物においては，取得データ間でのデータの変化量がプロキシ体に対して正しく接触判定が行われるかを確認した．本実の大きさを超える移動量になる場合がある．データの移動験では，装置の位置は固定し，また，移動物体には人間の量がプロキシをすり抜けてしまう場合，接触判定が正常に手を使用した．人間の手を前後に移動させ，その動きに対行われず，力覚提示に支障を来すという問題が起こる．こしてプロキシが追従するかを確認した．本実験では，作成の問題は，深度センサと力覚提示装置の更新速度のギャッするデータ数は 30 とした．プロキシと Falcon の座標位置

プにより起こる問題であるため，力覚提示の計算を高速にを図 2 に示す．

しても解決できるものではない．また，更新速度のギャッ

この結果から，更新速度の異なる装置を用いた場合でも，プから，力覚提示装置の性能を十分に引き出せない問題が物体の動きに対してプロキシが追従していることが分かる．

ある．
3.2 時間的補間方法

1.4

我々は，時系列的に連続する 2 つのデータに対して，1.2ICP(Iterative Closest Point) アルゴリズムを適用することで，列を分割して適用させることで，2 つのデータ間に微小変Z座標(m)データ間の同次変換行列を算出した．算出した同次変換行

10.8
0.6

プロキシ
物体

化した新しいデータを作成することが出来る．この時の作0.4

成データ数は任意に変更することが出来る．これにより，

0.2

深度センサの更新速度を仮想的に向上させた[1]．

00.0

0.5

1.1

1.6

2.2

2.7

3.3

3.8

時間(s)

4. 検証

図 2 プロキシと Falcon の座標位置

深度センサの更新速度を 仮想的に どの程度まで向上させ

Figure 2 Position of proxy and Falcon

られるかを確認するために実験を行った．まず，提案手法の計算量に関する検証を行った後，[1]で用いたものとは異なる力覚提示装置を用いて実験を行った．本実験で用いた深度センサは Microsoft 社の Kinect．力覚提示装置は更新5. まとめ
本研究では， 仮想的に深度センサの更新速度をどの程度速度 1kHz である Novint 社の Falcon を用いた．

まで向上させられるかを確認した．その結果，最大 99kHz4.1 計算量に関する検証まで向上可能であることが分かった．また，更新速度が異同次変換行列の算出が深度センサのデータ取得間隔内であるかの測定と深度センサのデータ取得間隔内でどの程度なる力覚提示装置に対しても提案手法が適用可能であることが分かった．

データが作成可能かを確かめるために，同次変換行列の算出と新しい 1 つのデータの作成にかかる時間を測定した．
本実験では，局所領域の 1 辺の長さは 60pixel で行った．
その結果，同次変換行列の算出には 31ms，データ 1 つの作成に要する時間は 0.01ms であった．
深度センサの更新速度は 30Hz であるため，データは33ms ごとに取得される．そのため，33ms 以内に同次変換© 2014 Information Processing Society of Japan

参考文献1) 山崎健一, 橋本渉, 西口敏司, 水谷泰治 : 時間的補間による時系列の点群データに対する力覚提示手法, 第 18 回日本バーチャルリアリティ学会, 2013
2) Fredrik Ryden, Howard Jay Chizeck: A Proxy Method forReal-Time 3-DOF Haptic Rendering of Streaming Point Cloud Data,
IEEE Transaction on Haptic, 2013461