情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B192021/3/10

Avatar Jockey における表現システムの拡張
伏田 昌弘†1 平林 真実†2
概要：インタラクション 2020 で発表した Avatar Jockey を実際に音楽ライブの現場で使用実験しながら Update を行った.音と映像を反応させて行うオーディオビジュアルパフォーマンスとバンドのライブの鑑賞体験の違いに着目した.
前者は,映像作品を見ている感覚に近いのに対し,後者は演者を見て何の楽器を操作し,どんな音を出しているかを理解しながら鑑賞する.これらを組み合わせることで新しいインタラクティブな表現システムを提案できないかと考え提案したのが「Avatar Jockey」である.それに対し,触覚フィードバックや第 3 者視点のプロジェクション,照明や LEDポールを使った実空間とのインタラクションといった機能を実装し,仮想空間をリアルタイムにインタラクションさせながら行う音楽的なライブパフォーマンスに使用することで Avatar Jockey における表現システムの拡張を行った.

1.

はじめにラップトップ PC を用いて音と映像を反応させて行うオれは,audio- visual gestural instrument である「the AirSticks」をパフォーマンスで使用しながら,音とジェスチャーの効果的なマッピングを考察している.Charles Patrick Martin らーディオビジュアルのパフォーマンスでは,観客はライブの「Sonic Sculpture」[3]では物理的な彫刻に対する音響的拡

会場でスピーカーから出力される音を聞きながら,演者の張に HoloLens をどのように適用すれば,個人としての体験背後等にプロジェクションされた映像を見てパフォーマンを作ることができるかを問うている.Olivier Capra らの「Allスを鑑賞し楽しむ.この体験はライブを見ているというよ

You Need Is LOD」[4]では,デジタル楽器による音楽表現にり,映像作品を見ている感覚に近い.またバンドのライブパおいて視覚情報の LOD(level of detail )が観客に与える影響

フォーマンスでは演者が楽器演奏している姿を見ながら各について考察している.他には,関連研究として小松原らの楽器の音が組み合わさってできる音楽を聴いて楽しむ.観

複数人で体験する複合現実（mixed reality; MR) 技術を用い

客は演者が何の楽器を操作して,どんな音を出しているか

た オ ー デ ィ オ ビ ジ ュ ア ル ・ ア ー ト 作 品 「 Multimodalを理解しながら鑑賞する.この２つのパフォーマンスの特connectoR」[5] .垂水らの仮想現実による遠隔音楽ライブシ

徴を組み合わせることで新しいインタラクティブな表現シ

ステム「KSA2」[6].筆者がインタラクション 2019 で発表しステムを提案できないかと考え,「Avatar Jockey」を提案した顔の輪郭情報の抽出と感情（怒り）の AI 解析を組み合わた.Avatar Jockey では,仮想空間をコントロールしているのせることで演奏手法の拡張を行う「FaceSession」[7]がある.

が人間であり,パフォーマンスが仮想空間を操作することで行われていることが実空間からも明確にわかるといった,通常の Live と同様になる様な条件を考慮した.本論文では,

3.

以前 HoloLens1 で開発した Audio Visual 3D Sampler である

3.1.

システムの概要
Avatar Jockey の Update 概要

Avatar Jockey [1]の Update 過程を示しながら,これを用いた

我 々 は 以 前 ,HoloLens1 で 開 発 し た Avatar Jockey をライブパフォーマンスの試行と考察,今後の可能性についHoloLens2 に 実 装 し 直 し た . 主 な 変 更 点 は , 複 数 台 のて述べる.Avatar Jockey は Mixed Reality（以降 MR）空間

HoloLens2 の位置合わせと iPhone 版 Avatar Jockey の制作でで,Avatar を操作し音楽的なパフォーマンスを行うことがある.HoloLens1 版の Avatar Jockey では Vuforia を使って各できるアプリケーションである.Microsoft の MR デバイス

HoloLens で AR マーカを読み込むことで座標の原点を一致である HoloLens 上で動作し,複数台の HoloLens で空間をさせていた.HoloLens2 ではマーカレスにする為に,座標の共有させ音楽パフォーマンスに使用する.パフォーマンス

原点を一致させる方法として Microsoft のクラウドのサー

時に第三者視点を観客に見せるため iPhone 版の Avatar

ビスである Azure Spatial Anchors を採用した.また iPhone でJockey を作成し音楽会場にプロジェクションした.リアル

第三者視点を撮影できる様に実装し,パフォーマンス時にとバーチャルをリアルタイムにインタラクションさせる音

MR 空間で何が起こっているかを観客が見える様にした.ま楽的なライブパフォーマンスを行いながら表現システムのた,デバイスを HoloLens1 から HoloLens2 にしたことで視野拡張を行った.

角が 2 倍になり,HoloLens1 版では Avatar を操作する時,小窓を覗いて探しながら操作する様な感覚だったが,視野角2.

先行事例・関連研究
先行事例として,Alon Ilsar らの「A Sound-First Approach to

Developing an Audio-Visual Gestural Instrument」[2]がある.こが広がったおかげで,小窓を覗いて探す感覚はなくなり体験として豊かになった.
3.2.

Avatar Jockey

Avatar を操作し音楽的なパフォーマンスをする演者を†1 東京コンピュータサービス株式会社†2 情報科学芸術大学院大学 メディア表現研究科© 2021 Information Processing Society of Japan427

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B19
2021/3/10「Avatar Jockey」(略称 AJ)と定義する(図 1).AJ は空間をエアタップすることで自由に Avatar を出現させ配置し音楽空間を作ることができる.(※エアタップ：人差し指を親指をくっつけて離す動作).また,Avatar は Drum,Bass 等の音源になっている(図２).

図 1 Avatar Jockey
図 3システム図

図 4 UI

図 2 Avatar Jockey 操作イメージ

4.

実演

この章では,Avatar Jockey を展示,パフォーマンスで使いな
3.3.

システム構成MR 空間のアンカーをクラウドで共有できる Azure Spatial

がら UPDATE した過程を述べる.
4.1.

NT 金沢@まるびぃ(2020/09/12)

Anchors を使い HoloLens 間の座標の原点を合わせた.また

2020/09/12 に金沢 21 世紀美術館で行われた「NT 金沢@まPhoton を使用し Avatar の位置情報をリアルタイムに共有しる び ぃ 」 で 展 示 を 行 っ た ( 図 5)( 図 6). 本 展 示 で 初 め てた.音の再生情報と Avatar の動作は OSC を使って HoloLens

HoloLens1 か ら HoloLens2 に ア ッ プ デ ー ト し た Avatar間で通知し合い同期している.(図３)

Jockey を展示した.HoloLens1 から HoloLens２で視野角が２倍程度広くなったことにより,CG が見やすくなった.その3.4.

操作方法について

Avatar Jockey の操作方法について記述する.エアタップ
で出現する Avatar の種類は,エアタップ する手の位置座標

ため,HoloLen1 で展示した時は,体験者から CG が見えにくいと言った意見があったが,今回の展示ではそう言った意見がなかった.

で決定している.図 4 で示す様に縦方向に楽器の種類が 5 種
類.下から,Drum,Bass,Code,Melody,Voice となっている.横方●フィードバック

向に楽器のフレーズ３種類が配置されている.今,どの楽器・体験者以外の人も体験者が何をしているかをわかる様なのどのフレーズを選択しているかは視界の中央に表示され展示をした方が良い.

る.

・初めて体験する人にとって操作が難しい.
・触覚がないので体験者が Avatar にエアタップできているかどうかがわかりにくい.

© 2021 Information Processing Society of Japan428

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B192021/3/10

・コロナ禍において XR は可能性がある.

図 7 パフォーマンスの様子(NxPC.Live vol.46)

図 5 展示風景１(NT 金沢@まるびぃ)

図 8 プロジェクション(NxPC.Live vol.46)

図 6 展示風景 2(NT 金沢@まるびぃ)●ねらいと考察
この展示での狙いは Avatar Jockey を触った時にどこを面白いと感じてもらえるかを知ることだった.体験は 20 人程度
で,特徴として 20 代で音楽 Live 会場に行く習慣がある人や

図 9 システム図

VR 系のゲームをする習慣のある人に比較的面白がっても(NxPC.Live vol.46)らえる傾向があった.また Avatar が音源になり踊りと組み合わさっているところを面白がってもらえた.だが,体験者●システムにとってエアタップの操作が難しく Avatar を出しすぎ音楽

HoloLens 視 点 の 映 像 を miracast で windows pc に 出 力的に成立しにくい場面も多々あった.

し,iPhone の映像を NDI で mac に出力.その２視点を切り替えながらプロジェクションしパフォーマンスを行なった

4.2.

NxPC.Live vol.46(2020/10/03)(図 9).また,出力する Avatar の色と照明を連動させた.

2020/10/03 情報科学芸術大学院大学(IAMAS)で行われた
NxPC.Live vol.46 に参加した.このイベントではリアル空間●フィードバックでパフォーマンスしている様子がオンライン配信された

・照明との連携は,リアルとバーチャルを組み合わせたパ(図７)(図８).リハーサルではシステムトラブルはなかった

フォーマンスという意味で良かった.

が,本番ではセッティング時に HoloLen2 が WindowsPC に・初見では何をやっているかわかりにくい.

miracast でなかなか接続しない,また iPhone 視点の映像にAvatar が出力されないといったトラブルが発生した.

●ねらいと考察このイベントでは,HoloLens2 版の Avatar Jockey を使ったライブパフォーマンスに挑戦した.MR 空間のパフォーマンス

© 2021 Information Processing Society of Japan429

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B192021/3/10

を HoloLens 視点と iPhone 視点の 2 視点でみせ,パフォーマ

OSC で M5StickC に通知し,VibratorHat を振動させた.iPhoneンスを観客に見せる方法として有効かを検証した.結で撮影した映像を Apple TV でミラーリングしプロジェク

果,HoloLens 視点は,装着している頭の動きに合わせて映像ションし,音は AppleTV と Bluetooth Receiver を接続し会場が揺れるため見にくい.今後は,iPhone 視点のみのプロジェのスピーカーから出力した(図 11).

クションの方が効果的だと判断した.だが NDI を使うと出力映像の FPS が不安定だった為, iPhone 視点の映像出力に●フィードバックは別の仕組みを考える必要があった.

・やっていることは凄いが,一見して何をしているかがわかりにくい.

4.3.

みちにはマルシェ NxPC.Live (2020/11/27)

2020/11/27 みちにはマルシェ NxPC.Live に参加した.今回・LED ポールは,会場が夜の野外ということもありマッチしていて美しかった.

は iPhone で撮影した第三者視点の映像のみをプロジェクションしパフォーマンスを行なった.また Avatar を操作し●ねらいと考察た時に操作できているかどうかを直感的にわかる様に腕にこのパフォーマンスの狙いは２点ある.1 つは iPhone 視点

M5StickC と VibratorHat を接続したデバイスを装着し,触覚のみのプロジェクションでパフォーマンスは成立するか.

フィードバックが得られる様にした.音楽会場に LED ポー

もう 1 つは LED ポールや触覚フィードバックを使いリアル を 立 て ,HoloLens と 通 信 さ せ て 演 者 が 操 作 し て い る

ルとのインタラクションをさせた時の効果の検証であっAvatar の色に LED ポールの色が変化する様に制御した(図た.iPhone を使った第三者視点の映像を使うと演者が CG の10).

中にいる様子が伝わりやすくパフォーマンスは成立した.
前回使用した NDI を使ったシステムよりも動作が安定した.ただ,最初にパフォーマンスの説明がないと何をしているか観客に伝わりにくいといった意見をもらった.次にM5StickC と VibratorHat を 使 っ た 触 覚 フ ィ ー ド バ ッ ク
は,Avatar に対して操作が正しく行なえたことを直感的に感じられたので,操作が正しくできているかどうかの一瞬の迷いがなくなりパフォーマンス中に集中できた.

5.

考察

図 10 パフォーマンスの様子

オーディオビジュアルパフォーマンスの鑑賞体験をバン(みちにはマルシェ NxPC.Live)

ドライブのパフォーマンスを見る様な体験に近づける新しいインタラクティブな表現システムとして考えた Avatar
Jockey を展示やパフォーマンスを行いながら Update してきた.まだソロでのパフォーマンスしか行なっていないのでバンドパフォーマンスを見る様な体験に近づけたとは言い難いが,ソロという意味でシステム的には弾き語り位に近づけたのではないかと考える.Avatar をコントロールする際に触覚フィードバックを与える事で,演者が直感的にパフォーマンスできることを狙った.また Avatar をコントロールしている様子を第三者視点で観客に見せる事で仮想空間をコントロールしているのが演者であることを明確に示し通常の Live と同様になる様にした.反省点として,パフォーマンスの最初に演者が仮想空間をコントロールしてい図 11

システム図(みちにはマルシェ NxPC.Live)る様子を観客に明確に示さなかった為, 演者がどの様に仮想空間をコントロールしているかが伝わりにくかったことがある. Avatar を 1 体出し,操作すると音が鳴り,踊り出すと●システム

いったことをわかりやすく見せる必要があった.LED ポー

HoloLens2 から LED ポールに ArtNet で RGB 情報を送信しルや照明を Avatar の色や動きと連動させる事で実空間とのLED の色を制御した.また Avatar を操作したタイミングをインタラクションをパフォーマンスに取り入れた.仮想空© 2021 Information Processing Society of Japan430

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B192021/3/10

間と実空間をインタラクションさせるのは MR を使っている特徴である.ただ,こちらも Avatar のコントロールと同様,もっと LED ポールや照明が演者によってコントロールされている様子を観客に明確に見せる必要があった.最後にパフォーマンスで使用した音源や Avatar,空間に配置したCG といったコンテンツに関しては,まだまだプロトタイプの段階なので表現を作る上で改善の余地は大いにあると考える.

6.

まとめと今後の展望
1 回の展示と２回のパフォーマンスを通じて,触覚フィードバック,第三者視点のプロジェクション,照明や LEDポールを使った実空間とのインタラクションを実装した.
パフォーマンスの見せ方には改善の余地はあるが,Avatar
Jockey における表現システムを拡張することができた.
今後の展望として Avatar Jockey をさらに拡張する.ライ
ブパフォーマンスを行う演者を 2 人にし,HoloLens 2 台を用いたパフォーマンスを行う.観客の鑑賞方法も次の様にする. 観客に iPhone アプリを配布することで,観客は会場にプロジェクションされた映像を鑑賞するのではなく,各自の iPhone で会場を自由に歩きながらパフォーマンスを鑑賞する.また現在はローカルネットワークで 2 台のHoloLens と iPhone を通信させているが,今後インターネットを介して通信させオンライン上からも演者や観客としてパフォーマンスに参加できるシステムを構築する.そして将来的に VR に展開し,VR 空間と MR 空間を用いてオンラインとオフラインを組み合わせた表現システムを作り,音楽ライブの現場で使用実験しながら有効性を検証する.それと同時に,VR と MR を組み合わせたライブパフォーマン
スの表現を追求することで, Avatar Jockey を用いた新しい表現システムを提案する.

参考文献
[1]
[2]

[3]

[4]

[5]
[6]

[7]

伏田 昌弘,平林 真実 : Avatar Jockey: 複合現実を用いた Live
空間の提案 インタラクション 2020
Charles Patrick Martin , Zeruo Liu, Yichen Wang, Wennan
He ,SHenry Gardner. “Sonic Sculpture: Activating Engagementwith Head-Mounte Augmented Reality” NIME2020
Olivier Capra, Florent Berthaut, Laurent Grisoni “All You Need Is
LOD : Levels of Detail in Visual Augmentations for the Audience”
NIME2020
Alon Ilsar,Matthew Hughes,Andrew Johnston “NIME or Mime: A
Sound-First Approach to Developing an Audio-Visual GesturalInstrument” NIME 2020
Multimodal connectoR https://vimeo.com/310808134
中井智己，山下大貴，片岡佳椰，山口亮大，金子辰善，窪地祐貴，垂水浩幸（香川大）：仮想現実による遠隔音楽ライブシ
ステム KSA2 における演奏者インタフェースの開発 情報処
理学会第 80 回全国大会 3ZE-06
伏田昌弘 平林真実 小林孝浩: FaceSession:顔を用いて創出される音楽での観客参加型音楽の可能性 インタラクション
2019© 2021 Information Processing Society of Japan431