情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-312024/2/28

AR とロボットを用いた美術鑑賞体験の時空間的増強
長坂有美1,a)

鈴木 亮太1

小林貴訓1

概要：美術館は，美術品を鑑賞できるという点以外にも，現地に実際に足を運んだり，目の前に美術品があったり，誰かと一緒に来館し体験を語り合ったりなど，体験を得られるという価値がある．本研究では，美術鑑賞体験の増強をするために，過去の，AR で「目の前に実物があった」という体験と，対話ロボットで「誰かと一緒に見に行き，感想を語り合った」という体験を，適切なタイミングで追体験させ，現在の体験と過去の体験を結びつける手法を提案する．実験により，AR と対話ロボットを用いて追体験を行うことで，従来の美術鑑賞と比べて，過去の体験と現在の体験の記憶が強固なものになるということが分かった．

1. はじめに
世界各地で鑑賞されてきた美術品は，これまでの情報イ
ンフラの発展に伴い，書籍やテレビ，インターネットを通じて世界中の誰の目にも触れ，親しまれることができるようになってきた．しかし，このような手元の映像で見るだけの鑑賞体験は不十分であり，美術館に足を運び，実物を見て体験したほうが，鑑賞という芸術活動が充実し，記憶や印象に残りやすいとされている．その理由は，目の前に本物があることや，同行者との会話など，映像を見るだけでは得られない臨場感が鑑賞体験の想起の引き金となるからである [1]．

図 1: AR とロボットを用いた美術鑑賞体験の時空間的増強

この知見をもとに，我々は，工学的に鑑賞体験の想起を促進することによる，美術館における美術品鑑賞体験を向時空間的に増強する手法を提案する（図 1）．まず，同伴す上させるシステムの開発を目標とする．「過去の体験」を記

る対話ロボットと共に多数の美術館を回り，その時の体験録しておき，別の場所・機会での鑑賞体験の際には「過去を，映像と対話ロボットの発話や振る舞いの履歴として記の体験」と「現在の体験」を結び付けることで過去の体験録しておく．そして後日，他の美術館での作品鑑賞時に，の記憶を強化し，さらに現在の体験をより豊かにする相乗AR デバイスを介して映像を再生し，併せて対話ロボット効果を狙う．従来より行われている鑑賞体験を高める鑑賞の発話内容や振る舞いも再生することで，過去の体験の想方法として，描かれた時期などの背景に触れながら作品を起を支援する．

見比べる差異の明確化により理解を深めるという比較鑑賞

2. 関連研究が，教育や美術館ガイドなどで取り入れられている [2]．従来の比較鑑賞では手元のガイドブック等での比較となり，

2.1 回想法による記憶定着・体験強化

十分な鑑賞体験は得られにくいが，本システムでは体験自回想法とは，1963 年にアメリカの精神科医 Butler によっ体を結びつけるため，より高度な美術鑑賞の拡張が期待でて提唱された理論であり，過去の体験を想起し，それを他きる．

人に話すことで，自分を再評価し，孤独感を和らげる高齢

本稿では，AR 技術および対話ロボットを用い，過去の者に向けた認知症や心理的障害の治療法である [3]．その鑑賞体験を現在の鑑賞体験に重畳する形で美術鑑賞体験を後，2000 年代から注目され始め，介護現場にて実際に心理療法として使用した事例研究が行われてきており [4]，回

1a)

埼玉大学
a.nagasaka.907@ms.saitama-u.ac.jp© 2024 Information Processing Society of Japan

想法により記憶能力が改善された事例が複数報告されている [5, 6]．また，大武らは工学的な進行支援によりグループ764

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

で回想法を行う共想法システムを提案している [7]．

2B-312024/2/28

され，また美術館での現在の体験のみを増強することが目本研究では，過去の体験を想起してそれを他人に話すと的とされている．それに対して本研究では，AR と対話ロいう回想法の手法を取り入れ，過去の体験の記憶定着によボットを組み合わせ，美術館体験を，現在の体験だけでなる体験強化を図る．

く，過去の体験と結びつけてどちらも増強できるような手法を提案する．

2.2 比較鑑賞
比較鑑賞は，絵画単体で鑑賞する無比較鑑賞に比べ，高3. 提案手法

い鑑賞体験が得られることが明らかになっている．立原は，絵画鑑賞では，描かれた時期などの背景に触れながら同比較鑑賞と無比較鑑賞の比較による比較鑑賞の効果の分析

じ作者の作品を見比べることで理解を深め，鑑賞体験を増を行った [8]．心のふれあいによる生き方への共感的主題強する比較鑑賞が行われることがある．本研究ではこの比（例：生活向上心にあふれた等），正の人間観的主題（例：較鑑賞を時空間的に増強する手法を提案する．作品の鑑賞挑戦することの大切さ等）の感想を「正の主題」，負の人間体験を記録し，後日，他の美術館での作品鑑賞時に過去の観的感情（例：悲痛な記憶等）の感想を「負の主題」とし体験を再生することで過去の体験を現在の体験に結び付て，比較鑑賞と無比較鑑賞を比べたところ，比較鑑賞のほけ，より豊かな鑑賞体験を生み出す．具体的には，対話ロ

うが無比較鑑賞に比べて正の主題の感想が多かった．立原

ボットと共に多数の美術館を回り，その時の体験を，映像はその理由として，絵に対するフィードバック鑑賞がなさと対話ロボットの発話や振る舞いとして記録する．そしてれることで，第一に美的体験が探索的な形で新たに付け加

後日，他の美術館での作品鑑賞時に，AR デバイスを介してわり，第二に正と負の価値感情をめぐって葛藤が生じるな映像を再生し，併せて対話ロボットの発話内容や振る舞いど，心情的に揺さぶりがかけられる作用によって，感情体も再生することで，過去の体験の想起を支援する．対話ロ験が深まったと考察している．

ボットと一緒にインタラクションしながら絵画鑑賞をし，本研究では，過去鑑賞した絵に対するフィードバック鑑

その体験を一緒に振り返るという共想法 [7] の枠組みを取賞をすることで過去の体験を思い出しつつ，比較鑑賞で鑑り入れることで，過去の体験と現在の体験を同時に増強す

賞体験で得られる感情をより大きくしながら現在の体験とる．また，AR で比較対象を並べてみることができるよう結びつけた高い鑑賞体験を提供する．にすることで，ガイドブックやタブレットを掲げながら見比べるといった物理的負荷が無く，更に美術品だけでなく2.3 鑑賞体験の拡張
美術館や博物館での鑑賞体験の増強を目的とした研究として，AR を用いた手法やロボットを用いた手法が提案さ同伴していた対話ロボットの身振りや会話内容といった過去の体験自体を再現するような時空間的に自由な比較鑑賞ができる．

れてきている．

AR を用いた研究として，Zhe らは，美術の学習を目的と3.1 システム構成

した，現実と拡張現実の組み合わせによるインタラクティ

本研究で使用するデバイスを図 2，3 に示す．対話ロボッ

ブ性を持たせた AR 美術品鑑賞システムを提案した [9]．タ

トにはコミュニケーションロボット Sota（ヴイストン株式

ブレット端末を絵画にかざし，カメラ映像としてタブレッ会社製）を用いる．対話ロボットは手押しカートの上に乗トに表示される絵画の中にある建物，人物，船などの要素せ，ユーザに押してもらい，対話ロボットと一緒に美術鑑をタッチすることで，あらかじめ作成された 3D の AR オ賞をする．また，AR デバイスには NREAL Air（XREAL,ブジェクトが重畳表示される．それらを拡大，縮小，回転Inc. 製）を用いる．NREAL Air は AR グラスを Androidさせることによって，視覚的に絵画の詳細を学習できる．

スマートフォンに有線接続して用いる AR システムである．

また，ロボットを用いた研究として，星らは，観客を話に引き込むためのミュージアムガイドロボットを提案し3.2 システムの動作た [10]．美術館で実際に行われている学芸員と観客のインユーザは，鑑賞行動の記録のために AR アプリを事前にタラクションを，社会学のエスノメソドロジーの手法によ起動し，AR グラスをかけて館内を散策する．ユーザは対り言葉と体の動きの連動に焦点を当てて調査・分析をした．

話ロボットの搭載されたカートを手押しし，任意に館内をその結果，適切なタイミングで観客の方に視線を送ること歩き回る．カートに搭載した対話ロボットは，身振りをつで観客の反応を増加することができると分かった．この調けながら鑑賞している絵画に関連した発話をする．発話内

査結果を基にして，カメラの映像から得られる観客の視線容にはユーザへの問いかけが含まれており，ユーザーに質方向の認識に基づき，適切なタイミングで観客の方を振り問を投げかけ，ユーザーの反応を待つ．ユーザの反応に対向くことで観客の反応を引き出すロボットを開発した．

し，さらに発話と動作によって反応し返すインタラクショ

従来の研究では，AR とロボットはそれぞれ単体で使用© 2024 Information Processing Society of Japan

ンを行うことで，ユーザと対話ロボットと一緒にグループ765

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 2: カートに乗ったロボット Sota

2B-31
2024/2/28

図 3: NREAL Air

図 4: 対話ロボットと一緒に AR グ

図 5: 1 人でガイドブックに記載さラスで比較しながらの絵画鑑賞れた解説を見て比較しながらの絵画鑑賞で美術品を鑑賞する体験を生起する．
その後，別の美術館を訪れた際，ユーザはこれまでと同様に AR グラスを装着しながら対話ロボットとインタラクションをしながら任意に絵画鑑賞を行う．これに加え，過去に記録したユーザの鑑賞行動の中で，鑑賞している絵画に関連する絵画がある場合，AR により，ユーザ目線で記録した過去の鑑賞行動を音声付きの動画で現在見ている絵画の隣に投影し，その後ユーザ目線で記録した過去に鑑賞した絵画を含む映像を，動画を再生した際と同じ場所に投影する．対話ロボットは，ユーザが比較鑑賞をしている，

図 6: 対話ロボットと一緒に AR グ

図 7: 1 人でガイドブックで解説を過去に鑑賞した絵画と，現在目の前にある絵画に対して，ラスを用いて比較鑑賞しながら絵画見ながら絵画鑑賞身振りをつけて関連した発話を行う．

鑑賞

本研究では，対話ロボットと一緒に行う時空間的に拡張された比較鑑賞の体験の印象の調査にフォーカスするたが展示されており，更に最初の場所に展示されていた絵画

め，対話ロボットの発話及び動作，AR による絵画投影手の一つが，展示されている絵画の横に AR 空間上に投影さ順として，スタッフが適切なタイミングであらかじめプロれる．

グラムされた発話内容及び身振りの再生，AR 空間への絵画の投影を行う．また，ユーザの反応の認識もスタッフが行う．

4. 実験

4.2 実験の流れ
提案システムである，ユーザが対話ロボットと一緒にAR グラスを用いて比較鑑賞しながら絵画鑑賞する（図 6）
設定では，最初の場所の中で対話ロボットの載ったカート

提案システムを実際に使うことで，体験の増強ができるを手押しし，対話ロボットの絵画解説を聞きながら絵画をのかを確かめるための実験を行った．提案システムであ鑑賞していただいた．次の場所の中では，同じ対話ロボッ

る，対話ロボットと一緒に AR グラスで比較しながらの絵トを同じように同伴しながら絵画を鑑賞し，装着した AR画鑑賞（図 4）と，1 人でガイドブックに記載された解説をグラスを通して見ることのできる絵画を参照しながら，対見て比較しながらの絵画鑑賞（図 5）の，二つの鑑賞方法

話ロボットによる絵画解説とともに思い出しながら比較鑑を体験していただき，その印象を調査した．

賞をしていただいた．
一方，1 人でガイドブックで解説を見ながら絵画鑑賞す

4.1 実験の設定

る（図 7）設定では，最初の場所に展示されている 3 枚の本実験を行うにあたり，埼玉大学に在籍する 12 名の学絵画の画像と解説が記載されているガイドブックを見なが生に協力を要請した．実験では，美術館に隔日で来館するら絵画を鑑賞していただいた．次の場所では，最初に見たという状況を想定し，2 つの別室にそれぞれ絵画を展示し3 枚と，展示されている 1 枚の，合計 4 枚の絵画の画像とた場所を用意した．実験参加者には，別日に体験している解説が記載されているガイドブックを見ながら，絵画を鑑という設定で，同日に時間を置いて 2 つの美術館を模した賞していただいた．

場所を体験していただく．最初に訪れる場所では，3 枚のヴェネツィア派という流派の絵画を 4 枚，石版画で作成絵画が展示されている．次に訪れる場所では，1 枚の絵画されたポスターを 4 枚，計 8 枚用意し，4 パターンの実験© 2024 Information Processing Society of Japan766

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-31
2024/2/28

表 1: デバイスの使用感に関するアンケート結果（質問文は [12] を参考）を用意した．

( 1 ) 対話ロボットと AR を用いてヴェネツィア派の絵画鑑賞( 2 ) 対話ロボットと AR を用いて石版画ポスター鑑賞( 3 ) ガイドブックを用いてヴェネツィア派の絵画鑑賞( 4 ) ガイドブックを用いて石版画ポスター鑑賞

図 8: GodSpeed Questionnaire による印象評価（質問文は [11] を参考）

実験参加者には，それぞれ (1) と (4)，(2) と (3) の組み合わせで 2 パターンの実験を行い，それぞれの実験後に「鑑術的な課題点はあるものの，AR グラスを用いることで，賞体験で印象に残ったこと，感じたことを話してください」

追体験の質が十分に高いということと，使用が容易で，美というインタビューを行った．実験終了後に，鑑賞体験と術館に訪れると予想される多様な人たちに普及しやすいとデバイスの使用感に関するアンケートを実施した．

いうことが明らかとなった．

5. 実験結果

また，対話ロボットの Sota が行った説明に関する 2 問
では，どちらも高い評価となった．自由記述コメントでは，デバイスの使用感に関するアンケート，絵画鑑賞体験に

対話ロボットが説明中に振り向いたり，簡単な質問をして関するアンケート，インタビューの 3 つに分けて，結果をユーザの反応を見たりする姿勢から，生物感を感じたとい以下に示す．

うコメントがあった．一方で，説明が一度しか聞けない点は不評であった．更に，対話ロボット Sota に対する印象

5.1 デバイスの使用感に関するアンケート
提案システムでの美術鑑賞実験に対して，8 問のデバイスの使用感に関する 7 段階評価（7: 非常にそう思う，6: かな

評価の結果，「生き生きとした」「親しみやすい」「ものしりな」という項目が高い評価を得た．総じて対話ロボットは実験参加者に生物的，知的な印象を与えたといえる．

りそう思う，5: ややそう思う，4: どちらともいえない，3: ややそう思わない，2: かなりそう思わない，1: 非常にそう思

5.2 絵画鑑賞体験に関するアンケート

わない）によるアンケートを行った．その結果を表 1 に示

アンケートにて，提案システムである対話ロボットとす．また，対話ロボットに対する印象について GodSpeed

AR を用いた美術鑑賞実験と，ガイドブックを用いた美術Questionnaire 指標 [11] で印象評価を行った．その結果を鑑賞実験それぞれに対して，9 問の絵画鑑賞体験に関する図 8 に示す．また，任意の自由記述にてシステムおよび鑑7 段階評価（7: 非常にそう思う，6: かなりそう思う，5: や賞体験に関するコメントをいただいた．

やそう思う，4: どちらともいえない，3: ややそう思わない，

AR グラスの NREAL Air については，「NREAL Air で絵画を見返したとき，実際に過去の体験を今体験している

2: かなりそう思わない，1: 非常にそう思わない）によるアンケートを行った．

かのように感じる」「NREAL Air の使いかたはわかりやす

その結果を表 2 に示す．また，平均値の差の t 検定を行かった」という項目が高い評価となった．また，「NREALい，統計的優位性の評価を行った結果を図 9 に示す．提案

Air の使用は煩わしかった」という項目では低い評価となっシステムがすべての項目において平均値で上回った．また．自由記述コメントでは，比較鑑賞で実際に目の前にあた，9 項目のうち 7 つが 5%水準において優位であり，1 つるかのように絵画が見えることを評価するコメントがあるが 10%水準で優位であった．

一方で，AR デバイス特有の反射や透過性の悪さから，照以上の結果から，提案システムで，対話ロボットと AR明が反射したり，AR グラス上に表示された絵画のみに意グラスを用いて絵画鑑賞をすることで，物語性をもって体識が集中するというコメントがあった．この結果から，技験を記憶・想起できるようになり，結果体験が増強された© 2024 Information Processing Society of Japan767

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-31
2024/2/28

表 2: 絵画鑑賞体験に関するアンケート結果（質問文は [12] を参考）

(a) 実験参加者毎のガイドブックを用いた実験後の発話文字数(b) 実験参加者毎の提案システムを用いた実験後の発話文字数

(b)

(a)

(c) 実験参加者毎の発話文字数の増加割合

図 10: 鑑賞体験の振り返りにおける回答発話量の比較

る提案システムを用いた実験の文字数増加割合を算出した
(c)

(d)

（図 10）．
その結果，11 人中 8 人の発話文字数が増加していて，平均では 29.1%増加していた．インタビューでの発話内容の一部を以下に示す．

• 一人でただ絵画を眺めているより，対話ロボッ
(e)

(f)

トが一緒にいるほうが圧倒的に楽しかった• 提案システムを用いた鑑賞と比べて，ガイドブッ
クでの鑑賞は覚えていることがかなり少ない• AR グラスを用いて比較鑑賞することで，大幅に情報が整理されると感じた
(g)

(h)

• 提案システムを用いた実験で，1 度目に絵画を鑑賞したときよりも，2 度目に絵画を鑑賞して，AR グラスで 1 度目に見た絵画を見たときのほうが，まだ定着していない記憶と繋がり，強い感情が起こった(i)• 対話ロボット等による音声ガイドより，文章ガ

図 9: 絵画鑑賞体験に関するアンケート結果の比較（**: 5%水準で有意差

イドのほうがよく覚えられると自分では思ってあり，*: 10%水準で有意差あり）

いたが，対話ロボットの説明を聞きながら鑑賞したほうが，いつもより作品に集中している気ということが明らかになった．

がした
このインタビューの回答から，対話ロボットがその場にい5.3 インタビューて，話しかけてくれるという意識から，ガイドブックを用

インタビューでは，「鑑賞体験で印象に残ったこと，感いて一人で鑑賞をするよりも楽しさを感じ，より絵画と解じたことを話してください」という質問をして，実験参加説に集中できていることが示された．また，AR グラスを者に 5 分ほど回答してもらうという内容を，口頭で実施し使い，1 度目に鑑賞した状況と同じように目の前に表示すた．記憶したエピソードが多いほど発話量が多くなると考ることで，手元にある画像を見た時よりも体験の記憶が強えられることから，発話した内容のうち，鑑賞体験に関すく想起されていることが分かった．

る発話を文字に起こし，ガイドブックを用いた実験に対す© 2024 Information Processing Society of Japan

このことから，ガイドブックを用いた実験よりも，提案768情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-31
2024/2/28

システムを用いた実験のほうが，体験の内容が記憶に残る

参考文献ということが分かった．

[1]

6. 考察
[2]

図 10 の結果から，提案システムを用いることで，従来の美術館鑑賞に比べて，過去の鑑賞体験とともに記憶の定着度が増加することが分かった．また，図 9 の「今回の体[3]験を，筋の通った物語のように話すことができる」「その時の音や声が今聞こえるかのように思い出すことができる」[4]という結果が，ガイドブックを用いた手法より提案手法が[5]有意に高く，「体験の順番や内容が不鮮明で，大まかなことしか思い出せない」という結果が有意に低いことから，体験の一連の流れを思い返すことができて，絵画を断片的に[6]記憶するだけでなく，体験そのものを記憶できることが分かった．さらに，第 5.3 節に示したインタビューの発話内[7]

容から，実験参加者には，ガイドブックを用いた手法より，提案システムを用いた手法のほうが良いという認識があることが分かった．

[8]以上から，提案システムを用いることで，同じ対話ロボットがそれぞれの美術館でも一緒に鑑賞していることと，AR上に過去鑑賞した美術品を表示し，あたかも今実際に見て[9]いるかのように感じられることから，過去の体験と現在の体験を結びつけ，体験を増強することができるということが明らかになった．

[10]

7. おわりに本研究では，美術館に足を運んだときにのみ得られる体[11]験に着目し，その体験を増強する手段として，過去の体験と現在の体験を結びつけるという鑑賞体験の時空間的増強を提案した．AR グラスで，AR 上に過去の体験を動画と静止画を合わせて投影し，対話ロボットで，過去の体験時[12]

日野陽子. 鑑賞の本質について -創造的活動としての一考
察-. 美術教育学：美術科教育学会誌, Vol. 14, pp. 275–282,1993.
藤原智也. 比較鑑賞教育法における美術作品の提示方法に関する考察. 岡山大学教育実践総合センター紀要, Vol. 10,pp. 71–80, 2010.
R.N. Butler. The life review,an interpretation of reminiscence in the aged. Psychiatry, Vol. 26, pp. 65–76,1963.
津田理恵子. 回想法への期待 -実践研究から考える文献展
望-. 関西福祉科学大学紀要, Vol. 11, pp. 317–332, 2007.
佐藤弘美, 細川淳子, 田高悦子, 酒井郁子, 高道香織, 天津栄子, 金川克子. 痴呆性高齢者のグループ回想法において家族とケアスタッフが捉えた意味−回想場面の映像から−. 石川看護雑誌, Vol. 2, pp. 15–23, 2005.
梅本充子, 柴田悦代, 神保太樹. 地域在住高齢者へのにおいを刺激とする回想法の有効性. 第 16 回日本早期認知症学会学術大会プログラム・抄録集, 第 8 巻, p. 195, 2015.
大武美保子. 認知症予防回復支援サービスの開発と忘却の科学 共想法により社会的交流の場を生成する会話支援サービス. 人工知能学会論文誌, Vol. 24, No. 6, pp.
569–576, 2009.
立原慶一. 作品の情趣と鑑賞法の違いがもたらす主観感受のあり方 -中学３年生におけるミレー作『種をまく人』とゴッホ作『種をまく人』の比較鑑賞を通して-. 大学美術教育学会「美術教育学研究」, Vol. 49, pp. 225–232, 2017.
Zhe Gong, Ruizhi Wang, and Guobin Xia. Augmented
reality (ar) as a tool for engaging museum experience:
A case study on chinese art pieces. digital, Vol. 2, pp.
33–45, 2022.
星洋輔, 小林貴訓, 久野義徳, 岡田真依, 山崎敬一, 山崎晶子. 観客を話に引き込むミュージアムガイドロボット：言葉と身体的行動の連携. 電子情報通信学会論文誌 A, Vol.
J92-A, No. 11, pp. 764–772, 2009.
Christoph Bartneck. Godspeed questionnaire series:Translations and usage. International Handbook of Behavioral Health Assessment, pp. 1–35, 2023.
関口理久子. 自伝的エピソード記憶想起に伴う主観的特性と感情の関係について -自伝的記憶の主観的特性質問紙を用いた検討-. 関西大学心理学研究, Vol. 3, pp. 15–26,
2012.と同じ解説をすることで，過去の体験を今体験しているかのように追体験させ，体験の増強ができるシステムを作成した．提案手法の有効性を確認するため，ガイドブックを用いた比較鑑賞と提案システムを用いた比較鑑賞を体験してもらう比較実験を行った．その結果，提案手法の方が体験が記憶として定着しやすく，また体験の質が向上することが分かった．
今後は，鑑賞時の周囲の人のざわつきの程度などの，より多くの周囲環境の情報を含めた記録を行い，再生することで，追体験の質を更に向上する手法を検討していきたい．
また，同システムを使用して，認知症対策のために用いられている「過去の体験を想起し，他人に話す」という心理療法である回想法 [7] を実現する手段を検討していきたい．

謝辞
本研究は JSPS 科研費 23K13286 の助成を受けたものである．

© 2024 Information Processing Society of Japan769