情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-162024/2/28

画像マーカーベースの AR を用いた音声ガイドの試作
伏田昌弘†1赤羽 亨†2

概要 ： 美術館・博物館で使われている従来の音声ガイドを発展させたものとして，スマートフォンで動作する音声AR アプリケーション「Onsei AR」を制作した．スマートフォンのカメラで任意の画像マーカーを検知し，それに対応した⾳声や映像を再⽣したり，マーカーからの距離に応じて音の大きさが変動する．これにより，実際の空間での鑑賞⾏為・体験を疎外しない⾳声ナビゲーションが実現する．本論文にて，画像マーカーベースの音声 AR 表現の新たな可能性を示す．

1. はじめに体験させられてしまう．Jing Yang らは，美術館で鑑賞者が絵画を鑑賞しながら，絵画から聞こえてくる音を立体音響

近年、美術館・博物館での AR 技術の活用事例が増えてで聴くことができる音声 AR のプロトタイプを提案した[2]．

きている．それらの多くはスマートフォンのカメラで任意

Michalis Tsepapadakis と Damianos Gavalas は，音声 AR とチの画像マーカーを読み取り，3DCG を現実空間と重畳させャットボットを組み合わせた Exhitbot を開発し，Exhitbot をて表示されるものである．個々の展示物に合わせて情報が使用した評価実験では銅像と直接会話をしているような錯取得できるため，「見たいものにスマートフォンを向ける」

覚を起こさせた[3]．Jing Yang らのプロトタイプや Exhitbotという直感的なインタラクションが実現可能である．そのは作品体験を音声によって拡張することを狙っており，音反面で、取得した情報はスマートフォン等の画面に表示さ声ガイドによるナビゲーションを発展させることを目的とれるため、スマートフォン越しに作品を鑑賞することになした Onsei AR とは，同じ音声 AR という仕組みを使ってはり，作品を直接見るという自然な鑑賞体験にはなっていないるが目的が異なっている．Y. Kritikos らは，ギリシャのい．一方，利用者の鑑賞体験を妨げず，展示物に関する情

クレタ島ハニア市内の 7 つの考古学的発掘現場を歩きなが報を補助的に取得できるものとして，従来のような音声ガ

ら，地理的に位置付けられた 3DCG と音声を体験する音声イドがある．従来の音声ガイドは，入場時に受け取る携帯AR アプリを開発した[4]．このアプリは，MR デバイスであ型オーディオデバイスを鑑賞者が自ら操作して，各作品にる HoloLens2 を使用し手と視線ベースのインタラクション対応した音声を聞くものが多い．例えば，それぞれの作品を導入することでインタラクションの問題に取り込むことに割り当てられた音声は，各作品が持つ固有の番号をオーを目的としている．Onsei AR と比較し体験が豊かな分，操ディオデバイスに入力することによって再生される．ただ作が複雑なので，期待した体験となるかは体験者のリテラし，音声ガイドはデバイスの操作が難しいものも多く，使シーに依存すると考えられる．国内のサービスとして提供いづらいものもある．これらの，AR 技術と音声ガイドの利されている音声 AR アプリとしては，GPS で取得したスマ点を統合し，利用者が見たい作品にスマートフォンを向けートフォンの位置情報とイヤホンのモーションセンサー情ることによって，それに対応したガイド音声を聞くことが報を利用し、歩いている位置に合わせて自動で音の方向感できる，スマートフォン向けの AR アプリケーション「Onseiや距離感を再現した臨場感のある音声を再生するアプリ

AR」を制作した．これにより，直感的な操作で，かつ自然「きくあるく[5]」や⾳声×位置情報を使った「SARF[6]」な鑑賞体験を実現する。

等がある．これらは，使用場所が屋外なので，美術館・博物館といった施設内での使用を想定している Onsei AR と

2. 先行事例・関連研究は異なる．

Fatima Zahra Kaghat らは，Sound Augmented Reality Interface
for visiting Museum (SARIM)という博物館見学の為の新し3. システムの概要

い音声 A R システムを提案した．SARIM は，利用者が博物

3.1 Onsei AR について館の展示を探索しながら，パーソナライズされた位置に依Onsei AR は，ポスター等の画像をマーカーとして登録し，存した情報を得ることを可能にする[1]．Onsei AR は画像マそれに対応した音声を再生するスマートフォンのアプリケーカーベースなので，利用者の意思で作品にスマートフォーションである．

ンを向けることでガイド音声を聞くが，SARIM は利用者の意思に関係なく，利用者が存在する場所によって自動的に†1 東京コンピュータサービス株式会社†2 情報科学芸術大学院大学 メディア表現研究科© 2024 Information Processing Society of Japan253

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-16
2024/2/28

3.2 システム構成

た後マーカーを再認識した場合，音声は画像マーカーの認

スマートフォンは iPhone12 Pro，開発環境はゲームエンジ

識が外れる前の続きから再生される．

ン で あ る Unity2020.3.34f1 を 用 い て 制 作 し た ． AR
Foundation フレームワークを使用し画像マーカーと音声の3.3.3 動画の再生紐付けを行った(図１参照)．また，画像マーカーをスマート

画像マーカーを認識したら動画が表示され，スマートフォフォンから読み込むことで動画を再生する機能も実装した

ンをタップすることで動画が再生される．

(図 2 参照)．

図 1 システム概要図(音声再生)

図 2 システム概要図(動画再生)

図 4 動画表示

4. 体験展示

3.3 機能4.1 IAMAS2023

3.3.1 UI
スマートフォンの画面は，黒背景に四角を表示した．四角

情 報 科 学 芸 術 大 学 院 大 学 で 2023/2/23-26 に 行 わ れ たの大きさはマーカーからスマートフォンの距離を表してい「IAMAS2023」で「Onsei AR」のデモ展示を行った(図 4 参

る．マーカーに近寄ると四角は大きくなり離れると小さく照)．

なる．四角の色はマーカーの ID を色に変換していて，マー4.1.1 体験方法

カー毎に異なる．カメラで写した実空間をスマートフォン

体験者には，Onsei AR アプリを入れた iPhone で，展示会の画面に表示しないことで，体験者が美術館・博物館の展場（図 5 参照）に貼られた複数のポスターにカメラを向け示物をカメラ越しではなく，自分の目で直接見ることを狙て音声を聞いてもらったり，動画を見てもらったりした．っている．

1 枚のポスターの中に複数の画像マーカーを配置し．音声と映像を再生したものもあった(図６参照)．図 6 の薄黄色の網掛け箇所が音声用の画像マーカーで，薄桃色の網掛け箇所が動画用の画像マーカーである．本展示時は，スマートフォンのカメラ画像は画面上に表示していた為，体験時の画面は図７の様になる．

図 3 スマートフォンの画面
3.3.2 音声の再生
スマートフォンで画像マーカーを認識したら音声を再生する．画像マーカーの大きさから，マーカーとスマートフォンの距離を計算して取得する．その値を音声のボリュームや再生速度等に割り当てた．画像マーカーの認識が外れ© 2024 Information Processing Society of Japan

図5

IAMAS2023 展示会場

254

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1A-16
2024/2/28

ると音声が最初から再生されるので，一度聞いた音声をもう一度聴かなければならない．③全ての音声にスマートフ
ォンからの距離をボリュームとして割り当ててないので，空間での没入感が低かった，
4.2 XR 総合展（秋）2023/10/25-27 幕張メッセで行われた「第 3 回 XR 総合展(秋)」でデモ展示を行った．(図 8 参照)

図 8 第 3 回 XR 総合展(秋)の会場の様子
4.2.1 体験方法
体験者はスマートフォンをタペストリーや他の展示パネルに向けることで音声や動画が再生され体験することが d
きた．画面には，実空間は表示させず黒背景に四角を表示
図 6 複数箇所マーカーがあるポスターさせた(図 3 参照)．
以下，画像マーカーと再生内容．
・タペストリー

：音楽の再生．距離で再生速度が変化

・展示紹介パネル：音声でパネルの内容を読み上げる．

・展示パンフレット：動画再生
4.2.2 アンケート
体験者 22 名に対し簡単なアンケートを実施した．その中で，音声読み上げ，音楽，動画再生のどれに興味を持ったかを聞いたところ，音声読み上げに興味を持った人が一番多かった．また，自由記述欄には，「画面ばかり見ない体験が面白い」，「安全教育，注意喚起で使えそう」，「目の見えない人向けアプリケーション」等があり，今後のアップデートに向けアイデアを得ることができた．
4.2.3 課題
図 7 音声再生時の iPhone 画面(左)タペストリーに音楽を割り当てて，距離で変化させたが，動画再生時の iPhone 画面(右)マーカーとの繋がりがある音声でないと体験者に興味を持ってもらえなかった．展示紹介パネルの記載内容をそのま

4.1.2 課題

ま音声で読み上げたので，体験者にとってパネルを読む労

この展示において以下の課題があった．①スマートフォン力が軽減される以上の体験にはならなかった，のカメラの画像を画面に出していたので，画像マーカーを読む際に画面越しにポスターを見てしまい空間移動中ずっと画面を見てしまう．②マーカーの認識が外れて再認識す© 2024 Information Processing Society of Japan

4.3 glow - in progress
2023/11/17-29 に新宿眼科画廊で行った「glow – in progress」

255情報処理学会 インタラクション 2024
IPSJ Interaction 2024

で体験展示を行った．(図 9 参照)

1A-16
2024/2/28

できると汎用的なアプリとなり使用しやすくなる．また，画像マーカーを照らす照明によって認識がしにくくなった
りするので，空間の明るさの環境に依存しない仕組みを入れる必要がある．マーカー認識による動画の再生も試行したが，XR 総合展(秋)でのアンケート結果で動画への関心があまり高くなかったので，音声に特化した方が良いと考える．

図 9 glow – in progress (左：体験の様子，右：iPhone 画面)

6. まとめと今後の展望
美術館・博物館などで使用されている「音声ガイド」の4.3.1 体験方法

置き換えを狙った Onsei AR アプリケーションの可能性を

体験者は展示作品を紹介するパネルにスマートフォンの示すことができた．行った３回の展示では，アプリとしてカメラを向けることでその作品の作家のインタビュー音声使いやすいか，機能は鑑賞者にとって必要十分かを考えたを聴くことができる．パネルに近づくと音が大きくなり，体験展示だったが，今後は実際の美術館や博物館で実証実離れると小さくなる．また，画像マーカーの認識が外れて験を行い，更に検証を進めたい．

再認識した場合，音声は認識が外れて止まった箇所から再開される．体験者にはイヤホンで体験してもらった．
4.3.2 課題
パネルの画像をマーカーとしていたが，マーカーの認識に展示会場の照明の明るさが影響しチャタリングを起こした．
会場でパネルの画像を撮影し画像マーカーとして登録することで認識させることができた．UI でも課題があり体験者が音声の少し前をもう一度聞きたい場合，巻き戻したりできないのでもう一周聞かなければならない．現在全体のどの部分の音声を聞いているかわからないので，画面上にシークバーが必要．画面が黒ベースなのでマーカーを認識していない時に，何も表示されずアプリが起動しているかどうか分かりにくい．

5. 考察
計３回の展示を行い，毎回アプリケーションのアップデートを行った．体験者の展示会場での鑑賞を邪魔せず，没入度を高くすることを意識し Onsei AR アプリの機能をアップデートしていった．専用の AR マーカーを配置するのではなく，展示会場にある素材をマーカーにすることで展示に溶け込ませ，マーカーとの距離でボリュームを変更す

参考文献[1] F. Z. Kaghat, A. Azough, M. Fakhour, and M. Meknassi,“A new audio augmented reality interaction and adaptation
model for museum visits,” Computers & ElectricalEngineering,vol. 84, p. 106606, 2020.
https://doi.org/10.1016/j.compeleceng.2020.106606[2] J. Yang and G. S ̈ or ̈ os, "Audio-augmented museum
experiences usingwearable visual-inertial odometry,"
inProceedings of the 18thInterna-tional Conference on
Mobile and Ubiquitous Multimedia,2019, pp. 1–6[3] Tsepapadakis, M., and Gavalas, D. (2023). Are you talking
to me? An audio augmented reality conversationalguide for cultural heritage. PervasiveMob.
Comput. 92, 101797. doi:10.1016/j.pmcj.2023.101797[4] Giariskanis, F.; Kritikos, Y.; Protopapadaki, E.;
Papanastasiou, A.; Papadopoulou, E.; Mania, K. The
Augmented Museum:A Multimodal, Game-Based,
Augmented Reality Narrative for Cultural Heritage. In
Proceedings of the IMX ’22: ACMInternational
Conference on Interactive Media Experiences, Aveiro,Portugal, 22–24 June 2022; Association for
ComputingMachinery: New York, NY, USA, 2022; pp.
281–286.
[5] きくあるく
https://ideathon.kikuaruku.com/[6] SARF
https://sarf.jp/

ることで鑑賞者の没入度を下げないように意識した．また，マーカーを再認識した場合，音声を最初からではなく前回マーカー認識が外れ音声が停止した箇所から再生することで体験のストレスを軽減した．マーカーをベースとした音
声 AR は，センサーを使って位置情報取得し音声を再生する音声 AR と比較し，展示会場に機材を設置する必要がな
く，鑑賞体験の邪魔をしない点で優位性があると考える．
今後考える課題として，画像マーカーや音声を入れ替える
際，アプリを再コンパイルせず，画面操作からできる様に© 2024 Information Processing Society of Japan256