情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B3-0
2014/2/28

動物画像のためのモデルベース可触化システムの開発
大久保 貴博1,a)

本多 健二2

戸島 幹智1

赤羽 克仁1

佐藤 誠1

概要：本研究では，動物の画像に対するユーザの触覚的な好奇心を満足させるため，画像を可触化するシステムを提案する．これまでにもいくつかの画像可触化手法が提案されたが，平面的で臨場感に欠けていることや，距離情報が必要になるなど，動物画像に適用するためには問題があった．そこで本研究では，画像内に動物の 3D モデルを配置して力覚提示を行うことにより，立体感・臨場感の向上を図る．システ
ムは，既存の 3D モデルとその姿勢を用いて構築する．ここでは，提案システムを用いて可触化を行った場合の効果を検証する．

A Development of Model-based Haptization System for Animal Images
Okubo Takahiro1,a)Honda Kenji2

Toshima Motonori1

Akahane Katsuhito1

Sato Makoto1

Abstract: In this research, we propose a haptization system for animal images by using a 3D model of theanimal. The haptization methods which were proposed before, there has been some problems, for example,
insuﬃciencies of a sense of presence in some methods, requirement of the depth information in others, sothey are not fit to apply to animal images. Therefore, the purpose of this research is to enhance the threedimensional impression and the sense of presence by placing a 3D model of an animal on the image andperforming the haptic feedback. But generating the 3D model of the animal from an image automaticallyand to estimate the pose is diﬃcult. So we are going to make a system which have an existing 3D models
and pose information. In this research, we verify the eﬀect of the haptization with the 3D model.

1. はじめに
1.1 研究背景法が考えられてきた．可触化とは，人間が直接触ることのできない何らかのデータについて，触覚や力覚を用いた情報提示を行うことを意味する．高濱ら [1] は，画像の持つ近年，スマートフォンやタブレット PC の普及により，色情報から，人間の色彩心理にもとづき自動的に力覚提示インターネットがより身近な存在となり，掲示板や SNS な用パラメータを生成し，画像の表面に設定することで可触どを通じて愛玩動物の画像を共有する機会が増えている．

化を実現した．

それらの画像を見たとき，私たちは様々な感情を抱くが，一方で，Liu ら [2] は距離画像を用いて 3D レンダリング「かわいい」などの視覚的な満足感は得られても，「触りたを行うことにより立体感を表現するシステムを提案した．

い」という触覚的な好奇心は画像のままでは満たすことは

しかしこれまでの可触化手法は，動物画像に触ることをできない．
これまでに，力覚提示装置を用いて画像を可触化する手目的としたシステムには適さないと考えられる．色情報にもとづく可触化において提示できる力は，画像の表面に力覚ポインタが触れたときの反力に限られるため，凹凸感の12a)

東京工業大学 精密工学研究所
Precision and Intelligence Laboratory, Tokyo Institute ofTechnology
東京海洋大学 海洋工学部
Faculty of Marine Technology, Tokyo University of Marine
Science and Technology
takahiro.okubo@hi.pi.titech.ac.jp© 2014 Information Processing Society of Japan表現はできるものの，動物に触っているかのような立体感・臨場感を得ることはできない．距離画像を用いた可触化においても，一般的な動物画像が距離情報を持っていることは少なく，また距離画像作成の精度にも問題があった．

425

䝕䜱䝇䝥䝺䜲

ື≀⏬ീ

どぬᥦ♧

䝰䝕䝹ϯ䝰䝕䝹ϯ䝴䞊䝄ຊぬᥦ♧⿦⨨図 2

図 1 提案システム

力覚提示装置 SPIDAR-G

Fig. 2 Haptic device SPIDAR-G.

Fig. 1 Proposed system.

ᥦ♧㠃

1.2 研究目的
動物画像に触るためのシステムとして必要となるのは，䝥䝻䜻䝅ຊぬ䝫䜲䞁䝍

対象の動物を立体的に表現できること，動物の部位ごとの硬軟感を自然な感触で表現できることなどが挙げられる．
本研究では，動物画像に対するユーザの触覚的好奇心を満足させるため，動物の 3D モデルを組み合わせた可触化
図 3システムを提案する．画像内の動物と同一の形状および姿提示力計算の概要

勢をもった 3D モデルを用意し，適切な位置に配置するこFig. 3 Calculation of force feedback.とで，立体感・臨場感を表現することができる可触化を実した状態の力覚ポインタから，幾何学的に未侵入状態の位現する．

置（プロキシ）を求め，力覚ポインタとプロキシの距離か

2. 提案システム

ら提示力を計算する方法である．この方法では，仮想的な2.1 概要する．

バネダンパモデルを用いて，以下の式 (1) で提示力を計算提案するシステムにおけるユーザへの情報提示の流れを
図 1 に示す．従来の画像可触化システムでは，入力された

F = Kx + Bv

(1)

画像の持つ情報から力覚提示用パラメータを計算し，画像ここで，F は提示力，K はバネ定数，B はダンパ定数，に触れたときの力を表現していた．本システムにおいては，

x は力覚ポインタとプロキシの距離，v は力覚ポインタの入力画像の役割を視覚提示にとどめ，力覚提示はシステム速度を表す．K および B は，事前に動物の 3D モデルに設が持つ動物の 3D モデルから行う．力覚提示のための動物定しておく．幾何ベースの力覚レンダリングにおける提示の 3D モデルは，システムがあらかじめ用意しておき，画力計算の概要を図 3 に示す．

像内の対象の動物に合わせて位置および姿勢を設定する．
この 3D モデルの画面へのレンダリングは行わない．これ

2.4 3D モデル

により，平面的な動物画像に対し立体的な可触化を実現す

本システムにおいて使用する動物 3D モデルは，入力画ることができる．また，3D モデルを使用することによる像内の動物とできる限り同じ姿勢を取っていなければな

利点として，画像から見ることのできない動物の裏側に力らない．そのため，3D モデルにボーンを組み込む．ボー

覚ポインタを移動させて触ることも可能になる．

ンとは，3D モデルの内部に配置する骨組みのことで，関節を動作させて姿勢を設定することができる．ボーン付き

2.2 力覚提示装置
力覚提示装置とは，ユーザに力覚を提示することにより，仮想物体に触った感覚を得られるデバイスである．多くの画像可触化システムは，力覚提示装置を用いて構成されている．本システムでは，ワイヤ駆動型力覚提示装置

SPIDAR-G[3]（図 2）を使用する．

3D モデルは，インターネットなどで多く配布されている．
図 4 は，DAZ 3D 社の Web サイト [5] で配布されている
猫の 3D モデルである．

3. システムの実装
3.1 前提条件
第 2 章で述べた提案システムは，入力された動物画像を2.3 力覚レンダリングもとに自動的に精度良く 3D モデリングを行うことができ，動物の 3D モデルの力覚レンダリングは，プロキシを用その姿勢も正確に推定可能であるということが前提となっいる幾何ベースの方法 [4] で行った．これは，物体へ侵入ている．現在のところ，画像から自動的に 3D モデリング© 2014 Information Processing Society of Japan

426

図 4

ボーン付き動物 3D モデル

Fig. 4 3D model with bones.

図 6

実験に使用した画像

Fig. 6 An image used in the experiment.
表 1

実験に使用したパラメータ

Table 1 Values of virtual spring and damper.
バネ定数 [N/m](a)㢮ఝ䛾ጼໃ䜢䝗䝷䝑䜾䠃䝗䝻䝑䝥

図 5

アプリケーションの UI イメージ

Fig. 5 A design of the user interface.

(b)

ダンパ定数 [Ns/m]Kmin = 300

Bmin = 0.5

Kmax = 3000

Bmax = K × 0.018

K = 1000

B=04. 予備実験
4.1 実験方法
3D モデルを用いた画像可触化についての有効性を検証を行う技術は存在するが [6], [7]，複数の画像が必要になるするため，予備評価実験を行った．図 6 に示す画像を可触など，実用上は問題がある．また同様に姿勢の推定につい化の対象とし，ても個別の研究段階であり [8], [9]，自動的に行うことは難(a) 色情報にもとづく可触化 [1]

しいと考えられる．

(b) 3D モデルを用いた可触化（提案手法）

そこで本研究では，上記の問題は既に解決したものと考のそれぞれの手法で，力覚提示装置 SPIDAR-G で被験え，動物 3D モデルには既存のものを利用する．姿勢情報者に使用させた．その際用いたバネ定数およびダンパ定数についても，全自動で行うことは考えないこととし，ユーを表 1 に示す．(a) については，画素の色情報によりパラザの操作により姿勢決定するシステムを構築していく．そメータが変動するので，値の範囲を示した．の上で，3D モデルを用いた画像可触化による効果を検証する．

なお提案手法における 3D モデルは，既に適切に姿勢付けされ，画像に対し適用されたものとした．そのため，被験者は可触化のための一切の操作を行っていない．3D モ

3.2 実装するシステム
本研究の目的は，インターネット等で収集した動物画像に対する「触りたい」という興味を満足させることである．

デルは，図 3 に示す猫の 3D モデルを使用した．被験者は15 名であり，体験後に 3 つの評価項目について 5 段階で評価をさせた．

よって，時間を掛けずに簡単な操作で画像内の動物に触った感覚を提供することが，ユーザビリティの面から求めら

4.2 実験結果れる．そこでシステムでは GUI を多用し，より直感的な操実験結果を図 7 に示す．グラフは，被験者 15 名が回答作を可能にする．図 5 に，インタフェースのイメージ図をした各項目についての評価値の平均であり，エラーバーは示す．表示された複数のサンプル姿勢の中から入力画像に標準偏差である．実験結果から，提案手法は色情報による類似したものを選択し，入力画像内の動物の位置にドラッ

可触化に比べ，動物の存在感が特に大きいことがわかる．

グアンドドロップすることで 3D モデルを配置できるよう

これは，触る対象が立体的な構造の 3D モデルとなっていにする．その後細かな調整を施し，力覚提示装置を用いてるためだと考えられる．存在感が大きくなったということ触ることができるシステムを作っていく．

は，動物画像に対する立体感や臨場感が向上していると言える．また，「驚き」や「楽しさ」の点についても高い評価© 2014 Information Processing Society of Japan427

像可触化システムを提案した．その上で，本システムに求ϱめられる機能の検討を行った．また，本システムの効果をϰϯ౯ホϮⰍ᝟ሗϯ䝰䝕䝹

検証するための予備実験を行った．実験結果より，本システムに使用する可触化手法の効果を確認した．

5.2 今後の課題ϭ㦫䛝䛜䛒䜛 ᴦ䛧䛥䛜䛒䜛 ື≀䛾Ꮡᅾឤື≀䛾Ꮡᅾឤ䛜䛒䜛䛜䛒䜛Ϭ

図 7 予備実験結果

Fig. 7 Experimental results.

第 4 章で述べた予備実験では，3D モデルの準備や姿勢推定の機能について検討していない．今後は，姿勢推定や適用などシステム全体を実装し，使用感の評価を行っていく必要がある．
より臨場感のある動物画像可触化のためには，3D モデルに触ったときの力覚が自然である必要がある．実験の被験者からも，質感についての要望が多かった．そのため，力覚提示の際に，3D モデルの局所変形 [10] を取り入れることを考えている．やわらかい物体は触ると弾性変形をともなうものであるが，このような変形を 3D モデルに局所的に取り入れることにより，やわらかさを表現する．毛並みの再現については，画像の色情報からテクスチャを生成し 3D モデルの表面に載せる方法や，体毛の長さなどの情

図 8

動物 3D モデル提示時のプロキシ軌跡（前・横）Fig. 8 Loci of proxy when the 3D model is presented (front,報を入力画像から読み取り，3D モデルとして表現する方法などが考えられる．

side).

参考文献となっており，二次元の画像を三次元的に触ることに対し[1]興味を持った被験者が多かったことがわかる．他に被験者からの意見としては，「やわらかさ」や「毛並み」を表現す[2]る要素がほしいというものが多かった．
図 8 に，3D モデルを用いた画像可触化における，力覚提示時のプロキシの軌跡を示す．曲面やモデルの裏側など，[3]動物の三次元形状を提示できていることがわかる．

4.3 アンケート[4]

予備実験の被験者に対して，任意のアンケート調査を行った．アンケートには「このシステムで触ってみたい動物はなんですか」，「このシステムで動物のどの部分を触っ[5][6]てみたいと思いますか」という質問を記載し，各 3 つまで回答可とした．「動物の種類」については，猫や犬といったオーソドックスな愛玩動物に人気が集まった他に，イルカ[7]やヒツジなど様々な動物の名前が挙がった．
「動物の部位」
については，耳，頭，尻尾の他，（猫の）肉球が多く挙げられた．これは，手や足ではなく肉球単体で挙げられてい[8]た．これらの結果はユーザの要望として，今後のシステムの実装において考慮していく必要がある．

[9]

5. おわりに[10]

5.1 まとめ本研究では，動物画像に対するユーザの触覚的好奇心を高濱敦, 赤羽克仁, 佐藤誠: 色とエッジ情報に基づいた画像可触化手法の提案, 画像電子学会誌, Vol.40, No.4,pp.695-701, (2011).
X. Liu, T. Muraishi, K. Akahane, and M. Sato: Researches on Depth Image Haptization System with Local Deformation, Proceedings of EUROMEDIA’2013,
pp.53-59, (2013).
S. Kim, S. Hasegawa, Y. Koike, and M. Sato: Tension Based 7-dof Force-Feedback Device: SPIDAR-G,
Proceedings of IEEE Virtual Reality 2002, pp.283-284,(2002).
D. Ruspini and O. Khatib: Haptic Display for Human Interaction with Virtual Dynamic Environments, Journalof Robotic Systems, Vol.18, No.12, pp.769-783, (2001).
http://www.daz3d.com/
P. E. Debevec, C. J. Taylor, and J. Malik: Modelingand Rendering Architecture from Photographs: A hybrid geometry- and image-based approach, Proceedingsof SIGGRAPH’96, pp.11-20, (1996).
M. Sun, S. Kumar, G. Bradsky, and S. Savarese: Toward
Automatic 3D Generic Object Modeling from One Single Image, Proceedings of the 2011 International Conference on 3DIMPVT, pp.9-16, (2011).
V. Ferrari, M. Marı́n-Jiménez, and A. Zisserman: Pose
Search: retrieving people using their pose, Proceedingsof the 2009 IEEE Conference on CVPR, pp.1-8, (2009).
F. Wang and Y. Li: Beyond Physical Connections: Tree
Models in Human Pose Estimation, Proceedings of the2013 IEEE Conference on CVPR, pp.596-603, (2013).
S. F. Gibson and B. Mirtich: A Survey of Deformable
Modeling in Computer Graphics, Technical Report,
TR97-19, MERL, Cambridge, MA, (1997).

満足させるため，動物の 3D モデルを組み合わせによる画© 2014 Information Processing Society of Japan428