HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-48

仮想エージェントとの楽器練習システムにおける｢空間の移動感と物体の共有感｣の同室感への寄与
What Is the Sense of Co-Location That Contributes to “Sharing Objects in Virtualand Real Space” in a System for Practicing Musical Instruments with Virtual Agents?
吉森日菜 1

高橋怜生 1

北村尊義 1Hina Yoshimori1, Reo Takahashi 1, and Takayoshi Kitamura1
1

香川大学
1
Kagawa University
Abstract: 楽器演奏の練習には特定箇所の反復練習が必要であり，そのような練習は他者の迷惑にならないよう 1 人で練習することが多い．しかし，1 人での練習のモチベーションの保持は難しく，楽器習得の挫折につながると指摘されている．そこで著者らは仮想空間と現実空間で，仮想エージェントとユーザが 1 台の楽器を共有するシステム｢おとねだり｣を提案した．本研究では提案システムの有効性を高める仮想空間と現実空間の同室感について検討した．

1．はじめに鍵盤楽器の演奏に憧れて楽器を購入したにも関わらず，基礎的技術を習得するための練習の退屈さから挫折してしまう人は少なくない．練習のハードルを下げ，練習の継続を促すシステムとして，光る鍵盤[1]や，楽譜が読めなくともディスプレイの打鍵位置を見るだけで理解することができるピアノマスター[2]などが提案されている．また，これらの物体に対するアプローチだけでなく練習者のモチベーション(習熟に向けて練習しようと考える気持ち)を考慮したシステムも存在している[3]．その一方で，楽器の習得には共に励まし合う人物や，競争関係にあたる人物が傍に存在したほうがモチベーションの維持につながることが考えられている．そのような人物の代わりとして仮想エージェント(以下，エージェント)の活用検討も進められている[4]．筆者らは，仮想空間と現実空間で一台の楽器を同一とみなす環境を構築し，エージェントとユーザが楽器を共有するシステム｢おとねだり｣を提案した[5]．
「おとねだり」のコンセプトを図 1 に示す．
「おとねだり」の利用シーンは図 2 のようになる．ユーザが練習していない時は，エージェントが演奏を始める．ユーザはこの音に感化されて，練習を始める．一方で，ユーザが練習している時はエージェントは鍵盤楽器の消滅により演奏することができない．ユーザはエージェント

図 1 「おとねだり」のコンセプト

図 2 「おとねだり」の利用シーン

に楽器を返したくないと感じ，練習を継続することができる．図 1，図 2 に示したように「おとねだり」は仮想空間に存在するエージェントがユーザの競争関係にあたる人物となり，楽器を取り合うことでユーザの練習に対するモチベーションを保持することができるという考えに基づいている．この考えを検証するには，仮想空間と現実空間に存在する楽器の同一感を実現する必要がある．また，この楽器の同一感を実現するにあたり，エージェントの存在する仮想空間との同室感が前提となることが考えられる．
そこで本研究では，「おとねだり」の実装に向けて，仮想空間と現実空間に存在する楽器の同一感と，仮想空間と現実空間の同室感，さらにエージェントの存在感という 3 つの要素に求められる仕様を探求することを目的とした．

図 3 映像視聴実験の様子

3.1

2．既往研究同室感を高める研究は遠隔地コミュニケーション分野において数多く提案されている．たとえば，あたかも一緒に食事をしているように感じられる食卓[6]や，その場に居ない遠く離れた土地に存在する人々を公共スペースの壁面[7]やピアノ[8]に投影する取り組みもある．さらに身近な例としてはコロナ
禍を機に急速に拡がったオンラインビデオ会議が挙げられる．ただし，オンラインビデオ会議の場合は，上述の例[6][7][8]とは異なり，相手からの映像だけでなく，相手に提示する自分の映像も表示する機能を標準にしているアプリケーションが多い(以下，鏡形ビデオ会議)．鏡形ビデオ会議は，各々が鏡に姿を投影し，その鏡をサイバー空間上で一堂に会させていると言える．Nakanishi ら[9]は，この鏡形ビデオ会議の場合，鏡映像には対話相手が存在していても，実空間には対話相手は存在しないという物理的矛盾があり，同室感を低下させる原因になるという問題を指摘している．そこで田中ら[10]は空間の移動感と物体の共有感に着目し，それぞれの効果や同室感への影響について検討している．ただし，田中ら[10]の知見などの既往研究が｢おとねだり｣[5]のようなエージェントとの楽器練習システムにおける最適な同室感表現へのデザインに貢献できるかは，不明である．その理由として，楽器練習は手元にある楽器に注視するシステムであり，ユーザの存在する空間と仮想空間や通信先の空間との同室感に求められる要件が異なる可能性が挙げられるためである．

3．実験

概要

本研究ではユーザがエージェントと共に鍵盤楽器の練習システム｢おとねだり｣[5]を体験している 4 パターンの映像を準備し，被験者の視聴後の評価データを収集した(実験Ⅰ)．また，エージェントと楽器を取り合う状況が同室感の向上に寄与するかの評価データも収集した(実験Ⅱ)．

3.2

目的

エージェントとの楽器練習システム「おとねだり」[5]のディスプレイ表示方法について，仮想空間を一方的にのぞいているディスプレイ(以下，窓表示ディスプレイ)に加え，鏡形ビデオ会議のように自身の姿もディスプレイ内に投影される形式(以下，投影表示ディスプレイ)の 2 つの形式が考えられる．また，それぞれのディスプレイ表示形式に対し，エージェン
トが演奏している際に現実空間の楽器の鍵盤が自動的に下がるというインタラクションが加わった場合の表現も考えることができる．そこで，2 つの表示形式に加えて鍵盤が自動的に下がるか否かの計 4 パターンについて，空間の移動感と同室感がどのように寄与するのか明らかにすることを実験Ⅰの目的とした．
また，仮想空間と現実空間で楽器が行き来する際に，利用者が練習中に奪う場合と奪われる場合で物体の共有感と同室感に違いが生じるかについて明らかにすることを実験Ⅱの目的とした．

3.3

方法

本研究では実験に要する時間や場所を考慮して，被験者が｢おとねだり｣[5]を体験している映像を視聴してもらった後にアンケートに回答してもらう方法を採用した．図 3 に映像視聴実験の様子を示す．視聴評価に用いたデバイスは，MacBook Air15 インチのディスプレイ(2880×1864)であり，映像は最大化して再生した．なお，この映像視聴について，見づらいなどの指摘はなかった．
実験Ⅰは「エージェントが鍵盤楽器を練習している様子」を見ている状態である．実験Ⅰのために準備した映像は以下の 4 パターンである．
A-1 窓表示:ディスプレイを通してエージェントが存在する仮想空間をのぞいている状態の練習映像(15 秒)．
A-2 窓表示＋連動動作: ディスプレイを通してエージェントが存在する仮想空間をのぞいている状
態．それに加えて，エージェントの演奏に合わせて現実空間の鍵盤楽器の鍵盤が下がる状態の映像(15 秒)（なお，音は現実空間の鍵盤楽器からではなく，タブレットから出ている）．
B-1 投影表示:ディスプレイを通してエージェントが存在する仮想空間に，リアルタイムの自分の姿が投影されている状態の練習映像(15 秒)．
B-2 投影表示＋連動動作:ディスプレイを通してエージェントが存在する仮想空間に，リアルタイムの自分の姿が投影されている状態．それに加えて，エージェントの演奏に合わせて現実空間の鍵盤楽器の鍵盤が下がる状態の映像(15 秒)（なお，音は現実空間の鍵盤楽器からではなく，タブレットから出ている）．
実験Ⅱは，エージェントと鍵盤楽器を取り合っている状態である．実験Ⅱのために準備した映像は以下の 2 パターンである．
イ ユーザがエージェントの鍵盤楽器を奪う場合:
エージェントが電子楽譜(仮想空間)を見ながら鍵盤楽器(仮想空間)を演奏している時に，ユーザが鍵盤楽器(現実空間)を弾き始めると鍵盤楽器(現実空間)から音が鳴るとともに電子楽譜(現実空間)が起動する．それに伴い，エージェントの鍵盤楽器(仮想空間)と楽譜(仮想空間)が消滅する映像(20秒)．
ロ ユーザがエージェントに鍵盤楽器を奪われる
場合:ユーザが電子楽譜(現実空間)を見ながら鍵盤楽器(現実空間)を演奏している時に，エージェン
トが鍵盤楽器(仮想空間)を弾き始めると鍵盤楽器(仮想空間)から音が鳴るとともに電子楽譜(仮想空間)が起動する．それに伴い，ユーザの鍵盤楽器(現実空間)から音が鳴らなくなり，楽譜(現実空間)が消滅する映像(20 秒)．

なお，各実験においてすべての被験者は共通の実験映像を視聴したが，体験する順番は順序効果の影響を考慮して入れ替えている．
事前質問として，鍵盤楽器への知識と仮想空間に対する知識を「自信がある」「自信がない」に対応させた 4 段階のリッカート尺度で回答することとした．
これは視聴する映像への理解が可能な人物であるか調査するためである．そのうえで，それぞれの質問に対して 3 あるいは 4 と答えた人物には実験を行わない方針にしたが今回の実験に該当者は存在しなかった．
実験後のアンケート評価では「全く当てはまらない」「どちらともいえない」「非常によく当てはまる」に対応させた 7 段階のリッカート尺度で回答することとした．実験後に実施したアンケート項目を以下に列記する．
-同室感(実験 I，実験Ⅱ)・ エージェントと同じ空間にいるような感じがした-空間の移動感(実験 I)・ 自分があたかもエージェントの空間にいるような感じがした・ エージェントがあたかも自分の空間にいるような感じがした-物体の共有感(実験Ⅱ)・ エージェントと自分のピアノは連動しているものだと感じた
被験者の属性はすべて大学生，大学院生で年齢が20 歳から 24 歳までの 32 名(男性 16 名，女性 16 名)であった．本実験では鍵盤楽器の映像を見てもらうことから，鍵盤を押したら音が鳴ること，また，その音はそれぞれ異なるという知識を有している人物を対象にした．これは事前質問に加えて実験前にも再度確認している．
実験期間は，2024 年 1 月 15 日，2024 年 1 月 16 日の 2 日間にわたって行った．実験場所は大学キャンパス内の静かな場所かつ，実験者と被験者の会話の内容が周囲に聞こえることがない場所を採用した．

3.4

結果

実験Ⅰの同室感についての回答の平均値で最も評価が高かったのは B-2 形式であり，平均値 5.875(1 から 7 までの 7 件法，SD=0.893)であった．空間の移動感について｢自分があたかもエージェントの空間にいるような感じがした｣という項目については B-2形式が最も評価が高く，平均値 5.063(1 から 7 までの 7 件法，SD=1.273)，｢エージェントがあたかも自分の空間にいるような感じがした｣という項目については A-2 形式が最も評価が高く，平均値 5.344(1 から 7 までの 7 件法，SD=1.240)であった．
実験Ⅱの同室感についての回答の平均値で最も評価が高かったのはロ形式であり，平均値 4.688(1 から7 までの 7 件法，SD=1.570)であった．物体の共有感について｢エージェントと自分のピアノは連動しているものだと感じた｣という項目についてはロ形式が最も評価が高く，平均値 5.563(1 から 7 までの 7 件法，SD=1.298)
なお，これらのデータについては分析を進めているところであり，ポスターセッションにて詳細を共有する予定である．

[5]

[6]

[7]

[8]

4．まとめ
本研究では，エージェントとの楽器練習システムにおける｢空間の移動感と物体の共有感｣の同室感への寄与について検討した．実験では，仮想空間を現実空間から覗くような窓表示形式，仮想空間に現実空間の自己も投影されている投影表示形式，さらに仮想空間にいるエージェントの弾く楽器が現実空間の楽器と連動するか否かのそれぞれ 4 形式の空間の移動間と同室感について検討した．また，エージェントとの楽器の取り合いが，物体の共有感と同室感に違いを生むのか検討した．今後は，得られた結果と仮説に対して追検証を実施する予定である．

謝辞
本件の一部は公益財団法人コーセーコスメトロジ
ー研究財団の 2023 年度コスメトロジー研究助成によって実現しました．ここに深謝いたします．

参考文献
[1]

CASIO,Casiotone 光ナビゲーションキーボード LK530:入手先 https://www.casio.com/jp/electronic-musical-[2]

instruments/product.LK-530/(2024 年 2 月 19 日参照)
河 合 楽 器 製 作 所 , ピ ア ノ マ ス タ ー dp: 入 手 先
https://cm.kawai.jp/products/pmdp/(2024 年 2 月 19 日参照)

[3]

竹川 佳成, 福家 悠人, 柳 英克: モチベーションを考慮したピアノ学習支援システム, 情報処理学会論文誌, Vol. 57, No. 4, pp. 1193-1206, (2016)[4]

桂 大地, 大内 昴, 坂本 大介, 小野 哲雄: 仮想エー
ジェントによる応援がクライミング競争者のモチベーションに与える影響, 日本知能情報ファジィ学会
誌, Vol. 33, No. 4, pp. 798-810, (2021)[9]2023 OGIS-RI Co., Ltd.: 寝かせて使うソフトウェアコンテスト 本選レポート(アイデアを説明する文書「おとねだり」(PDF: 約 0.4MB))，https://www.ogisri.co.jp/otc/hiroba/Report/osca/2023/，(2024 年 2 月 19 日参照)
Barden, P., Comber, R., Green, D., Jackson, D., Ladha, C.,
Bartindale, T., Bryan-Kinns, N., Stockman, T. and Olivier,P.: Telematic Dinner Party: Designing for Togetherness
through Play and Performance, Proc. DIS2012, pp.38–47(2012)
Karahalios, K. and Donath, J.: Telemurals: Linking
Remote Spaces with Social Catalysts, Proc. CHI 2004,pp.615-622 (2004).
Xiao, X. and Ishii, H.: Inspect, Embody, Invent: A De- sign
Framework for Music Learning and Beyond, Proc. CHI
2016, pp.5397-5408 (2016)
Nakanishi, H., Tanaka, K., Kato, R., Geng, X. andYamashita, N.: Robotic Table and Bench Enhance Mir- ror
Type Social Telepresence, Proc. DIS2017, pp.779- 790(2017)[10] 田中 一晶, 西村 庄平, 耿星, 中西 英之: 空間の移
動感と物体の共有感による鏡型ビデオ会議のソーシャルテレプレゼンスの強化, 情報処理学会論文誌,
Vol. 60, No. 2, pp. 419-428, (2019)