情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-022017/3/2“Real Baby - Real Family” - 抱擁可能なタンジブル
赤ちゃん VR システム望月 宥冶1

錦澤 竜也1

浅野隆弥1

我妻大樹1

東田 茉莉花1青木真希子1

白井暁彦1

概要：本プロジェクト「Real Baby - Real Family」は VR によるリアルな赤ちゃんを誕生させることで，新たな家族の愛を VR で表現することを目的としたプロジェクトである．本稿では国際学生対抗 VR コンテスト（IVRC2016）において発表したバージョンについて，その設計と実装，展示を通したユーザ評価，今後の可能性について報告する．IVRC2016 において展示したシングルプレイヤ向け「Real Baby」は (1)HMD 装着中に違和感なく抱擁できる赤ちゃんモックアップ，(2) ユーザの 2D 顔画像を元にした赤ちゃん顔テクスチャの生成，(3) 画像・音声・触覚によるフィードバックとイベント生成，によって構成されている．今後，さらに「VR による家族愛」の表現に近づけるため，必要となる要素を整理した．

“Real Baby - Real Family” - Holdable tangible baby VR system
Yuya Mochizuki1

Tatsuya Nisikizawa1 Takaya Asano1 Daiki Agatsuma1
Makiko Aoki1 Akihiko Shirai1Marika Higashida1

Abstract: This project “Real Baby - Real Family” is a project aimed at expressing the love of a new family utilizing Virtual Reality system (vr for short). In this paper, we documented the version presented at
the International collegiate Virtual Reality Contest (IVRC 2016). This report includes system design andimplementation, user evaluation during exhibition, and future possibility. The single player version of “RealBaby” that was exhibited at the IVRC 2016 is made up of three main segments. First is a Baby mock-up thatyou can hug without being discomfortable while wearing HMD. Second is a generator of baby face texture
based on user’s 2D facial image. The third segment consists of an image, voice, haptic feedback and event
generation. In the future, I will organize the necessary elements to bring it closer to the expression of ”family
love by VR”.

1. はじめに
子どもは愛の結晶である．そんな “夫婦愛”，“家族愛”の代名詞として使われるのが子どもであり，赤ちゃんである．本作品「Real Baby - Real Family」[1] は，赤ちゃんテスト (IVRC2016) において制作した本作のコンセプト，東京予選および決勝大会において発表したシステム，体験者の反応と今後の可能性について報告する．

2. 先行研究を異性や同性のカップル，友達同士で作り，バーチャルリ赤ちゃんを主題にした先行研究として，Neuro-Baby[2]，アリティ（VR）上で育てる体験を提供することによって，Infanoid[3], Kismet[4], Cog[5], Babybot[6]，YOTARO[7]

体験者の赤ちゃんに対する考えや行動を楽しみを持って知などがあるが，中でも YOTARO はリアルな赤ちゃんをり，愛について深く考えるきっかけを与えることを目的とVR 作品として表現した先例として挙げられる．YOTAROした作品である．

は鼻水や感情変化を再現した赤ちゃん型ディスプレイで構

本稿は，第 24 回国際学生対抗バーチャルリアリティコン成されるロボットであるが，顔をイラストで再現している
ため “架空のキャラクタ” もしくは “他人の赤ちゃん” とし1

神奈川工科大学
Kanagawa Institute of technology© 2017 Information Processing Society of Japanて感じられてしまう．第 19 回文化庁メディア芸術祭にお683

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-022017/3/2

いて優秀賞を受賞した作品「(Im)possible baby」[8] は，実を利用し，体験者に違和感を限りなく感じさせないような在する同性のカップルの遺伝子情報からできうる子どもを「抱擁」を実現した（図 1）．

推測し，それをもとに家族写真として制作した作品である．
本作品は，異性または同性のカップルや友達の顔画像から赤ちゃん顔画像を生成することができるが，リアルタイム性やインタラクティブ性には難がある．
磯野らの「統計情報を用いた年齢変化顔画像の生成」[9]によると，幼少期の平均顔と実年齢顔を合成することにより，その年代の特徴を保持したまま皺やシミの除去が可能であり，さらに肌領域を平滑化処理することにより，減齢画像の生成が可能である．

3. 設計
本作品はヘッドマウントディスプレイ（HMD）を装着

図 1

HTC Vive と統合された赤ちゃんモックアップ

Fig. 1 HTC Vive and Integrated baby mock-up

した状態で赤ちゃんを実際に抱くことを特徴とした新しいVR 作品である．「自分の赤ちゃん」と本当に感じられるような体験をすることで，「愛情を注ぐ」という行為が可能になると仮説付けて開発を行なっている．そのため，赤ちゃ3.2 顔画像生成
赤ちゃん顔画像は後に述べる「母子手帳」と VR 体験内んの顔は「自分の赤ちゃん」と感じられる顔を生成し，抱の 3D 映像のためのテクスチャとして利用される．赤ちゃ

いた赤ちゃんからは，画像，音声，触覚を通してフィードん顔画像の生成プロセスとして，(1) 体験者の肌色に対応バックを受けることができる．

した平均顔の赤ちゃん顔画像の生成，(2) 複数の体験者の育児に関するインタラクションにおいて最も重要な行為顔画像から生まれ得る赤ちゃんの特徴を生成する処理（特は「抱けること (holdable)」であると考えた．YOTARO

徴点インデックスの取得），(3) 若年化モーフィング処理，など，多くの赤ちゃん VR に関する先行研究は，映像が中(4) 動的テクスチャの生成を実装，以下解説する．

心のインタラクションであり，実際に手にとって抱くこと

3.2.1 (1) 平均顔の赤ちゃん顔画像の生成はできない．つまり育児においてごく自然な行動である

まず，体験者の肌色に対応した平均顔の赤ちゃん顔画像「抱っこ」を実現できない．一方で，レールダル社の高性を生成する．色と形状のモーフィングを OpenCV のみで能乳児医療トレーニングシミュレータ「SimBabyTM 」や行う．Google 画像検索によって取得した日本人の赤ちゃR 」[10] は，医療従事者向けの患者ロボットで「SimNewB⃝

ん顔画像 16 人による平均で生成した．

あり，重量感や症例の設定などにおいてリアリティが高い

3.2.2 (2) 特徴点インデックスの取得が，高価であり，一般向けに興味を持ってもらうには障壁が多い．

次に，複数の顔画像や赤ちゃん顔画像をモーフィングし生成する上で，顔の特徴点とそれぞれの画像における対応医療と一般向けの VR 作品における赤ちゃんの最大の違点，そのインデックスを取得する必要がある．提案手法でいは，対象が「患者」なのか「未来に生まれてくるであろうは，オープンソースライブラリの Dlib を使用し，データ自分の赤ちゃん」の違いである．そのため体験者が直感的セット iBUG-300-W によって学習された結果から，顔のに「自分の赤ちゃん」であることを認識した上で，多様なパーツごとの点を取得した．図 2 の結果のとおり，目，鼻，シナリオを，より幅広い人々に簡易に体験可能にするため，口，眉，輪郭で構成される特徴点 68 点をインデックスと(1) 抱擁可能な赤ちゃんデバイスの実現，(2) 顔画像生成，することで，モーフィングの自動化を実現している．特徴(3) 音声に同期した触覚という 3 要素を設計項目とした．

は顔のパーツの中でも口に集中していることがわかる．

3.2.3 (3) 若年化モーフィング処理
3.1 抱擁可能な赤ちゃんデバイスの実現

若年化モーフィング処理は，(1) で求めた平均顔画像とHMD を装着したまま赤ちゃん人形を違和感なく抱擁す(2) で求めた特徴から，破綻のない赤ちゃん顔画像を生成るためには，赤ちゃん人形の高精度なポジショントラッする処理である．実装は Dlib および OpneCV を用いておキングが必要であるが，1 眼カメラの画像認識によるポジり，フローチャートを図 3，図 4 に示す．特徴点の取得はショントラッキングでは遮蔽が多く生じ，十分なトラッキ

Dlib で行い，特徴点の座標データを OpenCV 側に渡すこングが成立しない．本提案ではコンシューマ HMD であるとで画像生成を行う．Dlib は求めた特徴点を自動的にソー

HTC Vive のコントローラに実装されている多点イメージトし，ランドマークとして扱う．すべての顔画像においてセンサによる高精度なポジショントラッキングシステム

そのインデックスは不変である．インデックスの番号に対© 2017 Information Processing Society of Japan684

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-022017/3/2

3.2.4 (4) 動的テクスチャの生成
生成した画像を 3D モデルに貼り付けただけでは違和感が大きいため，生き生きと動的に変化する表情を生成する必要がある．そのためキャラクタアニメーション向け 2D
画像変形ソフトウェア「Live2D」を使い，アニメーションセットを事前に準備し，Unity で VR 映像空間内でリアルタイム生成している．Live2D のモデルデータを作成するにあたり，図 2 の平均顔の赤ちゃん顔画像の両目と口の部分を切り出した画像をテンプレートとする．
図 2

平均顔画像による赤ちゃんと特徴点のインデックス

Fig. 2 Averaged baby face from landmark index

して寄与率を設定することで，選択的にパーツごとの処理を行うことができる．色成分は (1) により生成されており，本処理では指定したパーツの特徴のみが遺伝するという考え方である．3D モデリングの変形なども行うのであれば，顎の周りの輪郭なども考慮すべきであろう．

3.3 音声に同期した触覚の提示
赤ちゃん人形を抱いた際に，人形側ではバイブロトラン
スデューサ Vp2（Vp210）による振動触覚と，HMD 側では赤ちゃんが声によって感情を表現することで，赤ちゃんとのインタラクションを強化している．出力された音声にフーリエ変換を用いたバンドパスフィルタに通すことで有効な周波数帯域（5Hz〜200Hz）のみを振動データとして抽出し，HMD 付属のコントローラ（Vive コントローラ）を通してリアルタイムの触覚の提示を行っている．しかし複数の展示機会を通して Vive コントローラに標準で内蔵されている振動子のみでは赤ちゃん人形を振動させるには振動子の出力が不十分だと感じたため，図 5 のように，Vp210 を Vive コントローラに取り付けることで振動子の出力を大きくしている．

図 3 特徴点の取得

Fig. 3 Obtaining special facial feature

図 5

Vive コントローラへの Vp210 実装

Fig. 5 Modified HTC VIVE controller by Vp 210

4. IVRC2016 でのシステムの実装
4.1 体験の内容
本作品は 1 人または，2 人の体験者から赤ちゃん顔を生成するシステムとなっている．体験者の顔を若年化モーフィングすることで赤ちゃん顔を生成する．そして，その生成した赤ちゃんを育児して，VR による家族愛を感じさせる作品となっている．（図 6，図 7）

IVRC2016 において実装されている体験者が体験できるタスクとして「授乳体験」を実現した．Vive コントローラ
図 4 若年化モーフィング処理を哺乳瓶に見立てて，カメラで撮影した自分の顔画像の特Fig. 4 Inverse age progression

徴を含む赤ちゃんにミルクをあげることで，Vive コント
ローラを通じて体験者にミルクを飲んでくれているような© 2017 Information Processing Society of Japan685

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 63-6F-02
2017/3/2

体験ブース

Fig. 6 Exhibition booth

図 9 Live2D による表情生成のためのテンプレート

Fig. 9 Live2D TemplateLive2D では Unity で使用する頂点変形データを作成するにあたり，以下のように作成した．使用する素材テクス
チャは顔のテンプレート｛右目，左目，口，土台｝の 4 枚（図 9）を使用している．

Unity 側ではまず始めに Live2DManager が若年化モーフィングによって生成されたファイルを読み込み，Graphics
図 7体験中の体験者の様子

Fig. 7 Users enjoying the experience

クラスの DrawMeshNow() というメソッドを使用して描画する．描画されている Live2DModelUnity をカメラコンポーネントを用いてレンダーテクスチャにレンダリング触覚を提示する．体験後には，自分の赤ちゃん顔の入ったする．最後に，レンダリングされたテクスチャを赤ちゃ母子手帳を発行し，体験の記録として体験者に贈呈した．

ん 3D モデルの顔のマテリアルをテクスチャに設定する．

母子手帳を図 8 に示す．

赤ちゃんのモデルの状態（泣く，ミルクを飲む，寝る）はBaby Emotion で監視し，Animator のアニメーションステートを操作する．また，Animator のアニメーションステートでは Live2D のパラメータを操作し，表情を変化させている．Live2DModelUnity の描画，レンダーテクスチャへのレンダリングは毎フレーム行っているためリアルタイムにテクスチャを変更することができる．以上の操作により赤ちゃん顔画像の表情テクスチャをリアルタイムに生成している．
図 8母子手帳

Fig. 8 Maternal and Child Care Handbook

4.3 画像，音声，触覚を用いた赤ちゃんインタラクション
図 11 は赤ちゃんの声と，それに付随する振動触覚を提示するシステムの構成図である．Baby Emotion は音声フォ
ルダから事前に用意した赤ちゃん声などの wave ファイルを4.2 赤ちゃんのリアルタイム表情変化読み込み，パラメータ｛不機嫌，笑い，泣き，飲み初め，飲み終

図 10 は赤ちゃんの表情テクスチャをリアルタイムで生わり，待機，眠り｝ごとに関連付ける．この Baby Emotion

成するシステムの構成図である．本作品では赤ちゃん顔画

は，パラメータ情報に応じた音声ファイルを AudioSource

像のテクスチャを体験者によって動的に生成しているたに送り，その音声ファイルはオーディオ情報として HMD

め，従来の表情テクスチャの差分を複数枚用意し，それをを介してヘッドフォンに出力され，触覚として提示される．

変更することで表情を作り出す方法や，3D モデルの頂点

この際のサンプリング周期は描画更新頻度（100FPS 以上）をモーフィングすることで表情を変化させる方法は採用でと同じである．振動データは SteamVR Plugin のクラスできない．そのため，Live2D と Unity の機能の一つであるある SteamVR Controller にあるメソッドの TriggerHap-RenderTexture を使用することによってリアルタイム表情

ticPulse を介し，Vive コントローラにリアルタイムで送信さ変化を実装した．

れる．これにより Vive コントローラの音声波形による振動© 2017 Information Processing Society of Japan686

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-022017/3/2

図 10

赤ちゃんの感情変化システム

Fig. 10 Baby facial expression system

図 11

音声システムによる触覚のフィードバックシステム

Fig. 11 Haptic and audio feedback system

子制御を行う．音声データをスペクトル化する処理と並列の方に体験して頂いた．また，体験終了後に配布した母子

して，Unity 上では WaveGetVibration と SteamVR Plugin手帳は，体験者同士が赤ちゃん顔画像を見せ合い，VR 内間では，まず WaveGetVibration が SteamVR Controller

で起きた体験を VR 外で共有，比較することのできる新たから振動させたい Vive コントローラの接続番号を参照なコミュニケーションツールとなった．

する．そののち，SteamVR Controller のメソッドである

TriggerHapticPulse の引数 durationMicroSec に前述の音

5.1 現在の赤ちゃん顔生成に対する評価

声データから抽出したスペクトルを与える．以上の処理を本システムは体験者に似ている赤ちゃん顔画像を作成す描画更新と同じ頻度で行う．加えて，音声データをスペクることが目的としてあったが，ゲーム開発者及び学生併せトル化する処理と，そのスペクトルをコントローラに与て 12 人に取ったアンケートでは，「似ている」を 1 点に，える処理を同じサンプリング周期で行う．これによって，「似ていない」を 4 点として 4 段階で評価してもらった．そヘッドフォンから再生される音声波形と Vive コントローの平均スコアは 2.27 点とまだまだ改善をしなければならラから再生される振動波形が，おおよそ同一の波形になる．

ない結果となってしまった．また，今後の国際展示するに一方で，Baby Emotion のパラメータ情報は，赤ちゃんとあたって人種などを考慮して赤ちゃん顔画像を生成する必のイベント (ミルクを飲んでいる，ミルクが口以外にぶつ要がある．現在のシステムでは日本人の赤ちゃんしか生成かる) に応じて発声される．また，ランダム秒ごとにパラできないため，今後は体験者の人種に合わせて，生成されメータ「babystay」が有効となり，babystay に関連付けらる赤ちゃんも変わるシステムを実装する必要がある．

れた赤ちゃんの声が再生される．このランダム性を含むことにより，赤ちゃん特有の不規則的なインタラクション性を簡易に再現することができた．

5. 展示から得られた結果
本作品は IVRC2016 の予選から本選を通して 300 人以上© 2017 Information Processing Society of Japan

5.2 触覚フィードバックに対して
Vive コントローラに標準搭載されている振動子と比べ，Vp210 を取り付けた Vive コントローラは強い振動を提示しているが，体験者が赤ちゃん人形を抱いた姿勢と提示位置にずれが生じる場合は，意図した効果を得られなかった．

687

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-6F-022017/3/2

赤ちゃんモックアップとの統合性を高めることが今後の課示を行った．また，展示から得られた知見として，赤ちゃ題と言える．特に，音声スペクトルによる振動子制御は，んを抱く際の重さや，体験中に起こる赤ちゃん人形の振動更なる発展が見込めると考える．

は，触覚を再現するために有効であり，赤ちゃんを抱擁することに加え，自分の顔画像の特徴を含む VR 赤ちゃんを5.3 VR を活用したナーシングシミュレータの可能性提示することで，YOTARO などの感情を表現した赤ちゃ

近年，日本の看護教育において，多様化する臨床現場にんロボット以上に赤ちゃんに深い感情を抱くことができる対応できうる実践力のある看護師を育成するために，シュVR 作品を実現した．そして，本作品で使用された VR でミレーション教育への関心が高まっており，客観的臨床赤ちゃん育児をする技術は，よりリアルな感覚を提示する能力試験（OSCE）やシミュレータなど模擬患者を使用しことができるナーシングシミュレータとして可能性を示した実践的な看護教育が注目を集めている．VR 作品 “Realた．また，2 次元画像と子どもが作ることのできる新たなBaby - Real Fmaily” では，その名が表すように，リアルエンタテインメントシステムとしての応用も期待できる．

な赤ちゃんを実現することにより，実際の家族の視点をよ

謝辞 本プロジェクトの実現においては株式会社富士通

りカジュアルに体験できる．今までの看護教育では実現出

ソーシアルサイエンスラボラトリにご助力いただいた．こ来なかった，自分と関係のある赤ちゃんを対象に，服などの場をお借りして感謝したい．

も含めた触感を持ち，リアルで主体的な育児体験を，短時間で，入門者から上級者まで提供できる，シミュレータと参考文献しての可能性がある．今後の課題として，ミルク授乳時の望月宥冶, 錦澤竜也，“Real baby / Real family”,“http://ivrc.net/2016/”,2016 年 12 月 25 日アクセス[2]
土佐尚子,“音声で人間とコミュニケーションできるロボ
ティクスアート:ニューロベイビー”, 計測と制御 = Journal of the Society of Instrument and Control Engineers,（1995）[3]
怡土順一，上田悦子，松本吉央, 小笠原司，“2P2-C20 顔
情報計測に基づく表情提示ロボットを介した遠隔コミュ
ニケーションシステム”, ロボティクス・メカトロニクス
講演会講演概要集，（2006）[4]
KOZIMA, H.“A Robot that Learns to Communicate
with Human Caregivers”,Proceedings of the First International Workshop on Epigenetic Robotics, （2001）[5]
SCASSELLATI, B.“Theory of mind for a humanoidrobot”,Autonomous Robots,（2001）[6]
Metta, Giorgio and Sandini, Giulio and Natale, Lorenzoand Panerai, Francesco.“Sensorimotor interaction in adeveloping robot”,First International Workshop on Epigenetic Robotics: Modeling Cognitive Development inRobotic Systems，（2001）[7]
小野千代子，國村大喜，平井まどか，松崎ワグナ哲也，村本政忠，内山俊朗，白鳥和人，星野准一,“P22 赤ちゃん型ロボットの開発におけるデザイン考察 (「想像」する「創造」〜人間とデザインの新しい関係〜, 第 56 回春季研究発
表大会)”，デザイン学研究. 研究発表大会概要集，（2009）[8]
長谷川愛,“(Im)possible baby”,“http://aihasegawa.info/?works=impossible-baby-case01-asako-moriga”,2016 年 12 月 25 日アクセス[9]
磯野勝宣，橋本隆之，堀雅和，“統計情報を用いた年齢変化顔画像の生成”, 情報処理学会論文誌コンピュータビジョ
ンとイメージメディア（CVIM），（2004）[10] Laerdal Medical Corporation,“SimNewB”,“http://www.kanazawa-med.ac.jp/ csc/pdf/no10.pdf”,
2016 年 12 月 25 日アクセス

吸啜や反射，さらには心拍数や体温といったバイタルサインなどを実装し，赤ちゃんがどういう状況なのかを体験者が体感で把握できるように改良することで，ナーシングシミュレータとしての可能性を期待できる．

5.4 エンタテインメントシステムへの応用
本作品は IVRC2016 において展示を行った際に，2 次元画像と子どもを作りたいという意見を頂き，空想上のキャラクタで試したところ，2 次元の顔画像と赤ちゃんを作ることに成功した．本作品は本当なら生まれえなかった赤ちゃんを作ることができる体験という側面を持ち，同性のカップルや友達同士だけでなく，3D モデリングを経由しない技術的特徴から，2 次元画像とも赤ちゃんを作れる可能性が確認できた．今後は 2 次元画像と子どもを作ることができるサブカルチャー市場向けのエンタテインメントシステムへの応用を検討している．

5.5 国際展示に向けて
本作品「Real baby - Real family」は，IVRC2016 において Laval Virtual 賞を受賞した作品であり，今後の国際展
示をふまえて改善していく必要がある．IVRC2016 で行った展示では体験者を 1 人と想定していたので，今後の展示
では体験者を 2 人と想定し，体験者 2 人の関係を強く意識した作品にしていく予定である．そのためには，HMD を[1]装着したまま相手と体験を共有するということが必要であり，また，その方法として UDP 通信で双方間の位置情報を遅延なく高品質に共有することを検討している．

6. おわりに
IVRC2016 東京予選および決勝大会を通して，赤ちゃんを主題とした実際に抱くことのできる VR 作品の開発，展© 2017 Information Processing Society of Japan688