インタラクティブメディア設計学研究室
研究内容

1

泳者が流体から受ける力の分析のための流体シミュレーションにおける境界処理法の改良
研究目的
人体3Dモデルの泳動作に伴う流体シミュレーションを行い，泳者が流体から受ける力を分析すること
[1]

研究内容
流体を粒子で離散化する粒子法による流体シミュレーションに取り組んだ→オープンソースソフトウェア SPlisHSPlasH[1] に流体-固体間の境界の処理に関して２点の改良を加えた粒子法による流体シミュレーション

改良① ：従来は剛体しか扱えなかった手法において，固体の変形に対応する流体シミュレーションを可能にした→流体シミュレーションの時間ステップ毎に固体の表面形状データを入力することで実現させた
改良②：静的な環境における固体が流体から受ける力の精度を向上させた→従来は圧力の離散値から力を計算していたが，離散値から連続値に変換した後に力を計算する手法を提案した
球体を流体に浮かべる流体シミュレーション実験を行い，重力と浮力のつり合い時の水中体積から精度向上を確認した
球体 (900 kg/m3)

流体 (1000 kg/m3)

従来手法 (水中体積７１％)

提案手法 (水中体積８９％) ※理論値は９０％以上２点の改良を加えた境界処理法を用いて人体3Dモデルの泳動作に伴う流体シミュレーション実験を実施した→非公開データ使用のため，実験結果は掲載不可[1] https://github.com/InteractiveComputerGraphics/SPlisHSPlasH

投影面色を考慮した不可視パタン投影手法の提案
目的
投影面を考慮した人間への視認性を低減させる継時加法混色によるパタンを投影する手法を提案する
継時加法混色とは？

継時加法混色の計算方法

実験

𝐶1 + 𝐶2
𝐶=2

時間的に2色以上の色刺激が人に分解できないほどの速度で表示させると起こる混色

𝐶1

𝐶
𝐶2

課題 : 色の組み合わせによって視認のされ方は異なる

そこで…

• 様々な色の組み合わせ、表面色を用いて知覚実験を行う• 視認のされ方を明らかにし、低減させる手法を提案する• 知覚実験を行い、知覚のされ方を解析• 実験データから視認性を低減させる手法を提案• 提案手法が有効であるか確認

結果
提案手法が視認性を低減させることができた外出困難者の社会参加を促進する
複合現実コラボレーションシステム
研究課題:
社会参加

MRリモートコラボレーションシステムが外出困難者の社会参加を促進することは可能ですか？
システム概要システムインターフェース

スケッチマップ

アプリケーションシナリオ
リモートショッピングシナリオ(a)リモートユーザーがシステムを使用しています。

(b)ローカルユーザーがシステムを使用しています。

スマートフォンでの指の運動技能訓練のための音楽ビデオゲーム

手指リハビリテーション

手指トレーニングのための音楽ゲームシステム

デバイス
問題

単調なトレーニングではモチベーションが低下

譜面エディタお気に入りの曲を遊ぶ
譜面を編集する

音楽ゲーム
フェイクハンドアニメー
ションUI

患者の精度向上に役立つ、簡単にゲームを遊ぶ運動リハビリテーションの支援ツールとしての拡張現実の可能性
目的

構成

医学的な意思決定を改善すること

研究問題

センサー

I. 拡張現実の制限を踏まえ，セラピストの支援ツールとして使用することは可能か。
II. リハビリテーションの評価に最適なAR技術や手法の組み合わせは何か。

プロトタイプ開発

インターフェース

可視化内容

SlidAR+ : ハンドヘルドARのための重力方向を利用した3Dオブジェクト操作SlidAR+とは?
ハンドヘルドARのための6自由度（移動3、回転3）の3Dオブジェクト操作X

問題
6自由度すべてを2D入力デバイスで操作することは難しい

Handheld Device
2D inputY• 重力情報に基づく方向操作• 初期方向を重力方向に固定• ユーザが行えるのは重力方向を軸とした回転のみ• SlideARの位置決定方法に重力に関する制約を導入

回転

位置アプローチとアイデア

拡張現実感（AR）を用いた学習方法の改善

Publication: Nicko R. Caluya, Alexander Plopski, Jayzon F. Ty, Christian Sandor, Takafumi Taketomi, Hirokazu Kato, "Transferability of Spatial Maps: Augmented
Versus Virtual Reality Training | Supplemental Material," Proceedings of IEEE Virtual Reality, pp.1-7, Reutlingen, Germany, 18 Mar. 2018.

音楽演奏ゲーミフィケーションを取り入れたAR手指運動訓練
アプローチ

リハビリテーション

音楽演奏

好きな曲，パートを演奏できる

退屈なトレーニング，効果改善が分かりにくい

演奏

入力デバイス

課題：モチベーションが低下し，長期継続できない

病院

患者

ゲーミフィケーション

フィードバック

ログ

運動情報を記録

スコアを見て上達が分かる

Publication:
Naoki Inoue, Yuichiro Fujimoto, Alexander Plopski, Sayaka Okahashi, Masayuki Kanbara, Hsiu-Yun Hsu, Li-Chieh Kuo, Fong-Chin Su, and Hirokazu Kato, "Effect of Display Location on Finger Motor Skill Training
with Music-based Gamification," International Conference on Human-Computer Interaction 2020 (HCI International), Springer, Compenhagen, Denmark, Jul. 2020 (Accepted).
[Poster] Naoki Inoue, "Design of Finger Motor Skill Training with Gamification based on Music Play," 2018 MOST & JST Conference - ICT for Accessibility and Support of Older People, p.125, Taiwan, Tainan, 25 Nov. 2018 (Best poster award).

適切な難易度に設定

光学シースルーHMDのための仮想物体の半透明感を低減する提示手法

課題：仮想物体の背景が透けて見えてしまう
仮想物体

背景光

光学的コンバイナ

システム：
Scene-Camera

背景光

PC
（制御器）

アイデア：

例
．

背景光と仮想物体が光学的に合成された光

背景が目立たなくなる
提示方法はないか？

目
OST-HMDから見える映像

使用機材
・背景光用のLCD
・Scene-Camera
・OST-HMD

OST-HMD (HoloLens)

目

結果：

実験室

通常の提示

特殊な提示手法

提示手法の工夫によって背景を目立たなくできるVR/ARを利用したソーシャルスキルトレーニング
問題 : 専門家を交えたソーシャルスキルトレーニング(SST)は非常に高コスト精神障害や発達障害のある人の社会性を向上させるために用いられる行動療法。

目的 :トレーニングコストを低減し、トレーニング効果を高めるためのVR/ARトレーニングシステムの開発
システム構成HMD

音声，身体姿
勢・動作，視線 ，心拍，脳波
など

SSTトレーナAI

情報抽出
ユーザの状態と訓練クオリティの推定

フィードバック

ユーザ
プロトタイプVR エージェント(先生)

VRエージェントの振る舞い決定陸上100m走における単眼カメラとACCURATE 3D POSE ESTIMATIONWITH MONOCULAR CAMERA AND
高精度3次元人体モデルを用いた3次元位置姿勢推定
ACCURATE 3D
HUMAN MODEL IN 100M SPRINT SCENE
PurposeMain idea
陸上100m走競技における人体3Dモデルを実画像の人物領域にフィッテングさせるカメラを使用した高精度3次元人体位置姿勢推定の実現

データ取得

実画像分析
＝ーbetterworse

difference

CG画像(人体3Dモデル)

TV雑談ロボットの日常利用を実現する
ロボットインタラクションデザイン
対話ロボットとの継続利用意欲を促進するための要素

社会的課題▼TV雑談システム

ロボットの導入と課題▼対話感を生む発話◀︎タイムシフト再生による発話タイミング調整

解決策とメリット▼嗜好を反映するための継続利用意欲のモデル化▼盛り上がり・爆笑の雰囲気での情動共有▼韻律模倣による同調対話

盛り上がり雰囲気を提示する
TV雑談エージェントによるユーザの感情増幅
アイデア

ユーザにTV番組に関するSNSの盛り上がりを提示することでエージェントに対する利用意欲が向上するのではないか
SNSの盛り上がりに応じてエージェントの振る舞いパラメータを制御
パラメータ例)- 発話頻度- 韻律情報- モーション

SNSの盛り上がり度
推定モデル
コメント数
推移

感情増幅 利用意欲向上

SNS
コ
メン
ト数

SNSユーザ９時間

人との親密度を向上させる
ロボットによるジェスチャーミラーリング
研究背景と目的
日常的な発話不足が問題

対話ロボットによる解決➢ ジェスチャミラーリングとは？

適応的ジェスチャミラーリングシステム
人とロボットが親密な関係になる必要性
人対人で親密度を向上させる
ジェスチャミラーリングに注目❶ジェスチャ
Kinect対話者❶視線❹ ジェスチャミラーリング➢ 気づきの検出

Tobii eye tracker

対話者の視線を取得• 相手のジェスチャを気づかれないように模倣する技術• 共感性の伝達，親密度の向上に効果あり上半身の3次元骨格座標を取得❷ 3次元骨格座標❷ 視線位置

視線の追従運動から模倣の気づきを検出できる可能性

視線を用いた対話者に気づかれない模倣を行う
適応的ジェスチャミラーリングシステムの開発❸ロボットの関節角NAO与えられた関節角を実行

PC• 視線から気づき度検出• 気づき度・3次元骨格座標に応じた関節角に変換

組み立て作業支援のためのARシステム設計ガイドラインの構築