情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2Q09
2021/3/10

人と人との接触動作よるインタラクションを再現する
人型視触覚ディスプレイの提案
松村 輝幸†1佐藤 俊樹†1

概要：我々は普段，体の全身を覆う皮膚を通して，その変化を見たり，直接触ったりすることで，他人の感情や体調を読み取ることがある．本研究では，このような視覚的・触覚的な情報をやり取りをする皮膚を，ディスプレイ/インタフェースとして捉え，また従来の平面ディスプレイのような指によるタッチ操作だけでなく，手のひらや腕，体全体を使う人と人とのインタラクション時における自然な接触動作に着目し，それらを活かした人型の視触覚ディスプレイの実現を目指す．

1. はじめにそこで本研究では，人型の視触覚ディスプレイのプラットフォームを実現し，人と人との間の接触を伴う様々な動

人体内部には内臓や骨，筋肉などの複雑な臓器が存在す作を検出してインタラクションに活かすことが可能な，人るが皮膚で覆われており，我々が体の内部の様子を直接観体広範囲の接触検出技術および情報提示技術の提案を行う．

察することは困難である．しかし，内臓の病変は皮膚にも変化が現れるため，医師は直接患者の皮膚を見たり触った

2. 関連研究りすることで，内部の状態を診断する．また我々は，他人

人 型 デ ィ ス プ レ イ を 用 い た 研 究 は ，Salam ら の Theの感情や体調も，皮膚の変化などの視覚的情報と筋肉の硬Physical-Virtual Patient Simulator[2] がある．研究では，直や震え，体温などの触覚的情報から読み取ることがあ

顔と体の形に真空形成した半透明プラスチックのスクリー

る．このように，我々の体を覆う皮膚は，人と人との視覚ンにリアプロジェクションして，傷病者の状態を表現して的・触覚的な情報をやり取りするための視触覚ディスプレいる．しかし，体の前面か背面のどちらか一方向のみの表イ/インタフェースであると考えることもできる．しかし，現であるため，切れ目やつなぎ目ができ，非連続的な表現普段人と人との間のインタラクションとして行う，接触をになっている．入力手法においては，指によるタッチ操作伴ったコミュニケーション動作は，平面ディスプレイにおのみで，手のひらや腕，体全体を使った接触動作を入力手けるタッチ技術を用いて検出することは困難である．

法とした実装がなされていなかった．また，頭部の全周囲

例えば，皮膚の病変から内臓の疾患を診断する視触診が表現が可能なシステムとして，一居らにより TEllipsoid[3]挙げられる．より正確な診察のためには，腹部や胸部のみが提案されている．TEllipsoid では，プロジェクタから投ならず，背中を含めた全身の皮膚を視触診の対象とするこ影された顔画像を凸面鏡で反射させ楕円球型のスクリーンとが望ましいとされているので [1]，皮膚の病状変化の再現に投影することで，頭部の全周囲表現を可能にしている．

は人体全周囲で行う必要がある．また，人を抱きしめる動高橋らの SenseRoid[4] は，等身大のトルソ人形をなでた

作 (ハグ) は，上半身の広範囲で直接接触を伴うコミュニり，ハグしたりする動作をセンサで検出し，その動作の圧ケーション動作である．この動作を入力動作として検出す迫をユーザ自身にフィードバックするデバイスである．動

るためには，指先や手のひらのみならず，上半身の胸や腕作を検出するため，複数の圧力センサを並べて配置されてなどの広範囲で接触可能な等身大の人型ディスプレイと，いるが，離散的な配置では，ハグ動作における人体全面へディスプレイ全体で接触検出が可能なタッチセンシング技の広範囲な接触を連続的に検出することは困難である．

術が必要である．さらに，ハグを行うユーザに対して視覚的・触覚的なフィードバックを行うためには，動作に応じた視触覚情報を全身に提示する機能が必要である．

3. 提案
本研究では，人と人との自然な接触を伴うインタラクションを再現可能な人型ディスプレイの実現を目指す．人†1

現在，北陸先端科学技術大学院大学© 2021 Information Processing Society of Japan732

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2Q09
2021/3/10と人のコミュニケーション動作をより詳細に検出する人型ディスプレイを実現するためには，ディスプレイに以下のような要素が必要であると考える．

• 実際の人との接触動作と同じ動作を用いたインタラクションを可能にするため，ディスプレイは人体の形状を再現した形状かつ等身大のスケールであること．

• 人体の様々な部位をまたいで広範囲に触れ合ったり，図 2同時に人体を様々な角度から眺めるたりするコミュニ
ケーション動作がある．そのため，人体モデル全体で連続的な接触検出と情報提示が可能であること．

ハードウェア構成図 (左) とその接触部分 (右)5. アプリケーション案• 接触を伴うコミュニケーションにおいては，皮膚の温提案プラットフォームのプロトタイプでは，全身の皮膚度や硬さなどを感じることができる．そのため，視覚を再現し，視覚的変化や触覚的なフィードバックの提示が的情報に加えそれらの触覚的情報も提示できること．

できる．これを応用し，人と人との自然な接触動作を用いそこで本研究では，上記の要素を満たす，広い接触面積たインタラクティブなアプリケーションの開発を行う．

を伴う人と人との直接接触動作を全て検出でき，それらの例えば，内臓病変に応じて変化する皮膚を全身で再現す

動作に応じた皮膚の視覚的変化や触覚的フィードバックをることにより，皮膚の病状変化の様子を見たり触ったりで提示可能なディスプレイを実現する．

き，内臓の症状を診断する視触診のトレーニングとして利ここで，本研究が検出を行いたい具体的な接触動作の例用できる．また，出血表現を任意の場所で再現し，それらを図 1 に示す．まず図 1(左) は手を使った接触であるが，に対する止血処置のための圧迫動作を検出することも可能

手指のみならず，手のひら全体を接触させる動作を人体のである．これらは救急救命士の訓練等に応用可能であると全周囲で検出し，手に対しても触覚的なフィードバックの考える．さらに，ハグなどのコミュニケーション動作を，提示も行いたい．また，図 1(右) のようなハグ動作は上半

ディスプレイ全体で接触を検出し，その接触位置・形状等身を広く接触させるため，全面のみならず側面・背面を含の解析・評価が可能である．これにより，ハグの締め付けめた広範囲かつ連続的な接触面の検出を行いたい．

具合などの人とのふれあいを視覚的に提示するアプリケーションとして応用ができる．また，2 台のシステム間でそれらの情報を相互伝達させ，エンタテインメント応用や遠隔コミュニケーションへの応用の可能性も検討する．

6. 展望
今後はまず，現在開発中の接触検出および視覚情報を提図 1 手を使う接触 (左) と体全体を使う接触 (右)示可能なプロトタイプの実装を完了させ，アプリケーションの開発を行う．その後ディスプレイ素材の検討を続け，

4. プロトタイピング

脈拍や体温等の触覚情報も提示可能なプロトタイプの実装も行っていきたい．

本研究では，小川らの Telenoid[5] のように，人と人との接触動作を行うディスプレイには，必ずしも手や腕，頭な参考文献

どの部位は必要としないと考え，上半身部分の等身大トル[1][2]

ソ人形を用いて提案システムの試作を行うこととした．
図 2(左) に示すのは，試作するシステムのハードウェア構成である．試作システムは，スクリーンとなるトルソ人
形，映像をトルソの内側から全周囲に投影するための超広[3]角プロジェクタと，図 2(右) のような全面の接触動作を検出する超広角カメラから成るプロカムシステムから成る．
プロジェクタから照射された映像は，魚眼レンズを通りト[4]

ルソ人形の側面にリアプロジェクションされる．トルソ人
形透明であるが，表面をシリコン等の弾性素材でコーティングすることで，映像の投影や皮膚の軟らかさの再現が可能になると考えている．

© 2021 Information Processing Society of Japan[5]

清水 宏, 2018, あたらしい皮膚科学:第 3 版, 中山書店.
Daher Salam, et al. 2020, ”The physical-virtual patient simulator: a physical human form with virtualappearance and behavior.”, Simulation in Healthcare
15.2, pp.115-121.
Taro Ichii, et al. 2020, ”TEllipsoid: Ellipsoidal Display for Videoconference System Transmitting Accurate Gaze Direction”, 2020 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp.775-781.
Takahashi, Nobuhiro, et al. 2011, ”Sense-roid: Emotional haptic communication with yourself.” Proceedings of Virtual Reality International Conference.
Kohei Ogawa, et al, 2011, ”Exploring the natural reaction of young and aged person with iclenoid in areal world”, Journal of Advanced Computational Intelligence and Intelligent Informatics 15(5), 592-597.

733