情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-40
2024/2/28

ぎゅっとーく:VR を利用したぬいぐるみとの新たなコミュニケー
ション手段の提案
篠原七海 1, a) 前田新 1, b) 三武裕玄 1, c)
概要：人はぬいぐるみに愛着を持って接している．ぬいぐるみは無口で自分を評価しないため，人はぬいぐるみに対して心を開いて自由に感情や思いを話すことができる．一方で，ぬいぐるみと会話してみたいという関心が湧くときがある．
「ただ話を聞いて欲しい」という願望と「会話してみたい」という興味を両立させる試みとして，本研究はバーチャルリアリティ(VR)を利用したぬいぐるみとの新たなコミュニケーション手段の提案である．具体的には，実世界のぬいぐるみに対して話しかけた言葉を保存し，VR 上でぬいぐるみを模したキャラクタと会話することができるシステムを制作した．著者が試したところ，ぬいぐるみに話しかけた言葉がぬいぐるみの記憶となり，以降の VR 上での会話に反映されたことを確認することができた．そのため，ぬいぐるみと VR 上のキャラクタに同一性を感じ，実世界と VR の接続が強化されたことを実感した．

1. はじめにぬいぐるみに愛着を持って接する人は多く，中にはぬいぐるみに話しかける人もいる．この時のぬいぐるみの良さみを模した VR 上のキャラクタとの会話に活用するというものである．本稿では，実世界のぬいぐるみを「ぬいぐるみ」とし，実世界のぬいぐるみを模した VR 上のキャラクタを「お供キャラクタ」とする．

として，自分を評価しない他者である点が考えられる．例

ぬいぐるみに対して話しかけたり，お供キャラクタとえば著者は話す機能を持ったロボットと接したとき，話すVR 上で共に行動して会話をすることで，ぬいぐるみに対ことに義務感を感じたことで愛着を感じにくくなったことする愛着が向上すると考える．実世界と VR の双方に存在があった．ぬいぐるみは話しかけても返答しないからこそ，し，同一の記憶を持つ存在は，実世界と VR を接続する効

人々はぬいぐるみに心を開き，どのようなことでも話すこ果があると考える．また，ソーシャル VR でワールドに依とができるのだと考える．そのような考えがある一方で，存しないお供キャラクタがいると，会話の相手として利用

ぬいぐるみに話しかけていると，もしもぬいぐるみと会話できる．

ができるのであればどのように返答してくるだろうか，という関心が湧くこともまたよくある．

2. 関連研究

ここで，最近発展しつつあるソーシャル VR に着目する．

ぬいぐるみを媒介にコミュニケーションを行う研究がいソーシャル VR が第二の生活の場になる可能性があるが，くつか行われている．また，ぬいぐるみをはじめとした柔ソーシャル VR で生活している間は現実のぬいぐるみから軟物体に対するインタラクションを計測する技術が提案さ離れる必要がある．そこで，ぬいぐるみの存在を現実かられている．

ソーシャル VR に持ち込むことができないかと考えた．ソ

2.1 RobotPHONEーシャル VR ではプレイヤー以外のキャラクタ（NPC）と稲見らは，ロボットを介したリアルタイム遠隔コミュニ

対面することができ，ペットのようなお供キャラクタを実ケーションシステムである RobotPHONE を提案している

現するツールも開発されていることから，ぬいぐるみの存[1]．遠隔地に置かれた複数のロボットの形状や動作等を同在を連れて歩く場に適していると考えられる．

期させることにより，ロボットを介してコミュニケーショ

本研究では実体のぬいぐるみをソーシャル VR 環境のキンを行うシステムである．また，RobotPHONE は複合現実ャラクタとして持ち込めるようにすることで，ぬいぐるみ環境でも応用されている[2]．実世界に存在するロボットをとの疑似的な会話体験を可能にし，「ただ話を聞いてほしい」

情報世界へのインターフェースとして利用することで，力という願望と「会話してみたい」という興味を両立させる覚を伴う情報世界内へのインタラクションが可能になる．

ことを試みる．具体的には，実世界のぬいぐるみに対してこれらのシステムによって，物理的存在が離れた場所を話した言葉を記憶として保存し，それを実世界のぬいぐるつなげる役割を担えることが示された．また，その場所は実世界でだけでなく，実世界と情報世界をも接続すること

1 明治大学総合数理学部先端メディアサイエンス学科ができた．

a) ev210505@meiji.ac.jp

2.2 ぬいぐるみデバイスb) ev210560@meiji.ac.jpc) jumius@gmail.com© 2024 Information Processing Society of Japan

馬瀬らは，ぬいぐるみとのインタラクションによって，ぬいぐるみの声が Twitter に書き込まれるシステムを提案

363

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

している[3]．質問調査で，ぬいぐるみに対して話しかけた

1B-40
2024/2/28

3.3 キャラクタ

り抱きしめたりした経験のある人が男女それぞれで確認さ本研究では VRChat 上でのアバターギミックとしてお供れた．そこで，ぬいぐるみへのインタラクションの位置やキャラクタを実装した．アバターギミックとすることで，強さ，その時間帯に応じて，ぬいぐるみの返答を Twitter で任意のワールドでシステムを利用することができる．まず，出力するシステムを制作した．

ぬいぐるみを模倣したキャラクタを作成してプレイヤーのしかし，ぬいぐるみの返答は事前に用意されたパターン位置に追従させる．VRChat にはユーザーとお供キャラクに限られており，また，ユーザ側もぬいぐるみに対して具タ以外にも他のプレイヤーがおり，本システムではユーザ体的な言葉を伝えることができない．

ーがお供キャラクタに向けて話しかけた時だけ反応するよ2.3 FuwaFuwa

うにする．そのため，本システムは HMD の装着を条件と杉浦らは，反射型光センサを用いることで，柔軟物体のし，頭の傾きを計測している．プレイヤーがお供キャラク

柔らかさを損なわずに，物体とのインタラクションを計測

タの方向を見て話しているとき whisper で音声認識を開始する手法を提案している[4]．センサを複数個搭載した，無する．一定時間の無音状態が続くと音声認識が終了し，線で小さなモジュールを物体の中に入れることで，柔軟物

ChatGPT API で言語処理が行われて返答が生成される．得体を容易にタッチデバイス化することができる．

られた返答は VoiceVox API によって音声合成され，仮想ミキサーを経由して VRChat 上で出力される．また，会話内

3. 提案システム

容は記憶として保存するために，テキストファイルに書き3.1 システム概要加えられる．

本システムは，ぬいぐるみに話しかけることと，そのぬここで，VRChat では他のユーザの音声を許可なしに録音

いぐるみを模したキャラクタと VR 上で会話するという 2することが禁止されている．よって，音声は VRChat を経つの要素で構成される．これによって，実世界でぬいぐる

由せずユーザー自身の PC のマイクから直接入力することみに話しかけた言葉が記憶として蓄積され，VR 上で実世で，他のユーザの音声を録音しないようにしている．

界の記憶を引き継いだお供キャラクタと会話することができる．ぬいぐるみに蓄積した情報を会話に反映させるため，プロンプトの構成を工夫した．以下に本システムの構成図を示す．

図1

システム構成図

3.2 ぬいぐるみ

図3

VRChat 上でお供キャラクタと会話している様子

3.4 プロンプト

ぬいぐるみの内部にフォトリフレクタを入れ，Arduino をChatGPT のプロンプトとして，テキストファイルを 2 つ用いて出力値を読み取る．ぬいぐるみを抱きしめることで使用している．1 つ目はキャラクタ設定のプロンプトであフ ォ トリ フ レ ク タ の出 力 値 が 一 定以 下 と な っ たと き にり，キャラクタ名やユーザ名などの不変な内容を記入する．

whisper で音声認識を開始する．一定時間の無音状態が続く

2 つ目は記憶のプロンプトである．ぬいぐるみに対して話と音声認識が終了し，話しかけた内容がテキストファイルした言葉は記憶のテキストファイルにそのまま書き込む．に記録される．

一方，VRChat でのお供キャラクタとの会話は，一時的に別のテキストファイルに保存した後に 3 行に要約し，記憶のテキストファイルに書き加える．要約は ChatGPT API によって行っている．

4. 考察と展望
本稿では，VR を用いたぬいぐるみとのコミュニケーシ
ョン手段について提案した．
著者が試したところ，ぬいぐるみに話した内容が VR 上での会話に反映されていることが確認でき，ぬいぐるみとお供キャラクタに同一性を感じた．そのため，ぬいぐるみ
図2

ぬいぐるみを抱きしめて話しかけている様子© 2024 Information Processing Society of Japanに対して話しかける行為が増え，愛着の向上を感じること364

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-40
2024/2/28ができた．
しかし，これは短時間での会話内容をもとに実験した結果であるため，長期間の記憶についても試す必要がある．
長期間の記憶を生成する際は会話の中で重要な部分を判断し，記憶の一部を自然に忘れる必要がある．よって，今後はより効果的な記憶の蓄積方法を模索した上で評価実験を行い，ぬいぐるみとお供キャラクタに同一性を感じる条件を調査したいと考えている．
また，お供キャラクタがぬいぐるみと共通の記憶を持つことで，ぬいぐるみが人にとって自由に心を開ける存在でなくなる可能性がある．ぬいぐるみに話しかける内容を意図的に選ぶようになり，聞いて欲しいことをただ聞いてくれるというぬいぐるみが本来持っていた役割を果たせなくなる可能性がある．今後は長期的な実験を行い，人とぬいぐるみとの接し方に変化が生じるか検討したい．

参考文献“RobotPHONE による物体共有型コミュニケーション”.
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=37013&file_id=1&file_no=1, (参照 2023-12-22).
[2] “MR RobotPHONE を用いた複合現実環境におけるインタラクション”.
https://www.jstage.jst.go.jp/article/tvrsj/11/2/11_KJ00007498988/_
pdf/-char/ja, (参照 2023-12-22).
[3] “自らの状況をネットに書き込むぬいぐるみデバイスの提案～ユーザの日常吐露パートナーとしての基礎的検討～”.
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=96823&file_id=1&file_no=1, (参照 2023-12-22).
[4] “FuwaFuwa：反射型光センサによる柔軟物体への接触位置および圧力の計測手法の提案とその応用”.
https://www.jst.go.jp/erato/igarashi/projects/FuwaFuwa/ec2011.pdf, (参照 2023-12-22).
[1]© 2024 Information Processing Society of Japan

365