社会情報学会関西支部研究報告
SSI Kansai Technical Report

美術館における鑑賞者の心理状態推定に向けた
マルチモーダルデータセットの構築
近藤 亮介1,2,a)

松田 裕貴1,2,3,b) Stefano Di Terlizzi4 Dragan Ahmetovic4
平良 繁幸1 諏訪 博彦1,3 Sergio Mascetti4 安本 慶一1,3

福光 嘉伸1

概要：美術館は美術作品を鑑賞する場として人々に親しまれている．鑑賞者の理解を助けるために，学芸員・ミュージアムエデュケータによる作品ガイダンスも行われている．しかしながら，人手によるガイダ
ンスにおいて，人的資源の限界は避けられない課題である．これに対し ICT を活用した音声ガイダンスな
どが海外を中心に取り入れられているものの，一方的にガイダンス内容が読み上げられるものが多く，鑑賞者が興味や関心に合わせて作品を鑑賞することが難しいという課題がある．そこで本研究では，鑑賞者の心理状態を推定することによって，鑑賞者の興味や関心に合わせたナビゲーションの提供や，鑑賞体験の向上につなげることができると考えた．本稿では，鑑賞者の心理状態推定手法の構築に向けて，美術館で開催された 2 つの展示会において展示作品計 28 点・被験者 62 名による，ガイダンスシステムを用いた作品鑑賞時における鑑賞者の心理状態のマルチモーダルデータセットを構築した結果について報告する．
キーワード：美術館，心理状態推定，ガイダンスシステム，データセット，マルチモーダルセンシング

1. はじめに人程度）である [3]．ミュージアムエデュケータは鑑賞者との会話を通じて 『鑑賞者が何を感じているのか』 を把美術館や博物館において，鑑賞者が展示物の鑑賞を通じ握した上でガイド内容の調整を都度行うことで鑑賞者の興て感じ・理解し・学ぶ場を提供することは重要な役割の一

味・関心を引き出すが，これは経験の蓄積に基づくいわゆつである．博物館は，様々な活動を通じて教育・学術・文る “職人技” であるため，形式知化されていない．

化の発展に寄与する施設として古くから機能しているが，近年では，貸出端末ナビ（音声ガイダンス等）も活用が

人々の知的要求の多様化・高度化や社会の進展・変化に応進んでいるが，その多くは一方的な情報提示を提供するもじた変化が期待されている．2007 年には，新しい時代の博のであり，館内ガイドを電子化したものの域を出ていない．

物館の必要とされる役割の一つとして，来館者の知的要求

また，それらは健常者を対象としており視覚障がい者などに答えるためのコミュニケーションの活性化が掲げられてが利用することが困難である．このことから，音声ガイダ

いる [1]．これを受けて近年では，学芸員に加えて学びの支

ンスシステムなどがミュージアムエデュケータを代替する

援・教育普及を担う専門職としてミュージアムエデュケー

ためには多くの課題があると考えられる．本研究では，展タが登用されており，2011 年にはミュージアムエデュケー

示物を鑑賞する人の心理状態（感情・満足度）の推定に基づタを養成する研修 [2] が開始されるなどといった取り組み

いて，鑑賞者に応じて対話的・動的にコンテンツ提示（ガが行われている．しかしながら，2008 年時点では約 3,000

イダンス内容・順序の編纂）することで，この問題を解決人であった学芸員数は 2018 年時点では約 3,600 人と 20%することができるのではないかと考えた（図 1）．その実程度しか増加しておらず，また 1 館あたりの学芸員数は 4

現に向けて，奈良県立美術館 [4] で実施された 2 つの展示

人に満たない状況（相当博物館・類似博物館を含めると 1.5

会における展示作品計 28 点を対象とし，10 代〜70 代の男

1

2
3

4
a)
b)

奈良先端科学技術大学院大学，
Nara Institute of Science and Technology
共同第一著者，Co-ﬁrst author
理化学研究所革新知能統合研究センター，
RIKEN Center for Advanced Intelligence Project
ミラノ大学，University of Milan
kondo.ryosuke.kn7@is.naist.jp
yukimat@is.naist.jp

女 62 名の被験者により，ガイダンスシステムを用いた作
品鑑賞時における鑑賞者の心理状態のデータセット構築を行った．構築したデータセットは，著者らが開発した美術館ガイダンスアプリおよびボイスレコーダによって，セン
サデータ（慣性センサデータ・画面操作ログデータ・音声データ）およびアンケートデータ（事前・事後アンケート，

1

社会情報学会関西支部研究報告
SSI Kansai Technical Report

本研究の目標ミュージアムエデュケータによる展示作品ガイダンス
紹介順序
の変更

観察

この鑑賞者は絵画の模様・技法に興味を持っていそう方針

模様・技法を中心とした解説に

Artwork #10

Lorem ipsum dolor sit amet, consetetursadipscing elitr, sed diam nonumy eirmod
tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos
et accusam et justo duo dolores et ea rebum.
Stet clita kasd gubergren, no sea takimata
sanctus est Lorem ipsum dolor sit amet.

個人に最適化したガイダンスの生成 等

鑑賞者の心理状態推定（本論文の対象範囲）

解説内容
の調整

Lorem ipsum dolor sit amet, consetetursadipscing elitr, sed diam nonumy eirmod
tempor invidunt ut labore et dolore magna
aliquyam erat, sed diam voluptua. At vero eos
et accusam et justo duo dolores et ea rebum.
Stet clita kasd gubergren, no sea takimata
sanctus est Lorem ipsum dolor sit amet.

観測データ

推定

ガイダンス
ルート

心理状態

仕草・行動
・音声・映像感情・満足度

活用
ガイダンス
コンテンツ

センシング
対話

対話

ミュージアムエデュケータ観察

AI ガイド

センサ等
鑑賞者

鑑賞者

図 1: ミュージアムエデュケータによるガイダンスと，本研究で目指す美術館ガイダンスシステムのコンセプト
作品ごとの心理状態ラベル）によって構成される．

Tzirakis らは対話システムを介して収集した音声に加え映

本稿では，美術館におけるデータ収集の方法について述

像データを組み合わせる手法を提案している [9]．ほか，視べるとともに，得られたデータセットについて基礎分析を

線や身体の動きのセンシングに基づく感情推定を行う研行った結果について報告する．

究 [10], [11] も提案されている．

2. 関連研究と本研究の立ち位置
2.1 美術館のガイダンスに関する関連研究
美術館来館者の理解を助けるためのツールとして，近年

また，感情以外の心理状態として，Rach らは議論的対話システムを対象として，興味度，納得度，理解度，関連度といった異なる尺度の心理状態を取り扱う研究を提案している [12], [13]．

では貸出端末でのナビ（音声ガイダンス）が国内外問わず

著者らはこれまでに，屋外における一般的な観光を対象

広く用いられている．これらの多くは，館内案内や展示物とした心理状態推定手法の実現に向けた研究に取り組んで

案内をデジタル化したものとなっており，個人や状況に合きた [14], [15]．この手法では，観光中の仕草データ（アイわせたガイダンスを提供するに至っていないのが現状とトラッキングデータおよび頭部の IMU センサデータ），おなっている．Sun らは，個人の学習スタイルに合わせて美よび自撮り動画データ（音声データおよび映像データ）を

術館ガイドの情報提示方法を変更することで，認知コスト

用いて，観光スポットごとの観光客の心理状態（感情・満の軽減や学習効果が高まることが示されている [5] など，足度）の推定モデルを構築している．

その重要性については注目されているといえる．

2.3 本研究の立ち位置
2.2 心理状態推定に関する関連研究
心理状態推定，特に感情認識に関しては，これまでに様々な手法が提案されている．

これまでの研究では，心理状態推定に関する研究は多くなされているが，美術館・博物館を対象としたユースケー
スに関して報告されたものは著者らの知る限り存在しない．

Resch らは，リストバンド型のウェアラブルデバイスか

そこで本研究では，図 1 に示すように，これまでの研究

らユーザの身体運動，ソーシャルメディアから収集されるで取り組んできた観光客の心理状態推定手法を，美術館のデータを用いた感情収集システム（Urban Emotions）を作品鑑賞に拡張することによって，鑑賞者の心理状態（感提案している [6]．また，対話システムを介して収集した情・満足度）の推定手法を実現するとともに，視覚障がい

音声データを基に感情推定を行う研究も取り組まれてい者を含む様々な属性を持つ鑑賞者の状態に応じた対話的・る [7], [8]．近年では，音声対話による機器の操作などが現

動的なコンテンツ提示（ガイダンス内容・順序の編纂）を実的なものとなってきており，観光を含むより多くの場実現することを目指している．この実現に向け，本稿では面において音声の利用が期待できる．認識の性能向上の

実際の美術館においてガイダンスシステムを用いた作品鑑ために，複数のセンサデータを組み合わることによるマ

賞時における鑑賞者の心理状態のデータセット構築を行う

ルチモーダルな感情認識手法についても提案されている．

ことを目的とする．

2

社会情報学会関西支部研究報告
SSI Kansai Technical Report

表 1: 富本憲吉展における実験対象の展示作品
番号

作品名

制作年（年）

寸法（cm）a)

A

楽焼草花模様蓋付壺

1914（大正 3）h21.8 × D11.3

B

染付線彫柳模様円陶板

1921（大正 10）

D14.5

C

土焼 鉄描風になびく荻模様鉢1925（大正 14）

h15.0 × D25.0

D

白磁八角蓋付壺1932（昭和 7）h20.4 × D25.8

E

色絵木蓮模様大皿1936（昭和 11）

h4.0 × D30.4

F

色絵円に花模様飾箱

1941（昭和 16）

h10.2 × w25.8 × d25.8

G

色絵柘榴に詩句円陶板1948（昭和 23）

D27.5

H

色絵四弁花更紗模様六角飾筥

1945（昭和 20）

h6.6 × D22.1

I

土焼 鉄描銅彩白雲悠々大皿1953（昭和 28）

h6.4 × D47.0

J

赤地金銀彩羊歯模様蓋付飾壺

1953（昭和 28）

h18.0 × D22.9

K

色絵金銀彩四弁花文飾壺

1960（昭和 35）

h18.5 × D21.5

L

染付竹林月夜模様皿1956（昭和 31）

h3.3 × D24.8

M

大和川急雨（『常用模様八種』のうち）

1949（昭和 24）

h29.7 × w69.7

N

色絵四弁花模様角筥1939（昭和 14）

h10.0 × w15.7 × d8.0

O

色絵金銀彩羊歯文八角飾箱

1959（昭和 34）

h12.2 × w26.4 × d26.4a)記号はそれぞれ，h：高さ，w：横幅，d：奥行，D：直径を示す．

C

B

A

O

N

M

2F

実験対象作品
実験ルート
作品棚

H

障害物(ベンチ等）

1F

開始
地点

G

I
10 m

D

E

F

J

K

L

図 2: 富本憲吉展における実験対象作品の位置と鑑賞順路

3. マルチモーダルデータセットの構築
本研究では， 奈良県立美術館における出展作品 28 作品

ら*1 」（以降，富本憲吉展）である．作品の多くが「壺」や「皿」などの立体物となっており，サイズが小さい作品が館
内に多数展示されている．

を対象とし，62 名の被験者のマルチモーダルデータセット

２つ目は，2024 年 1 月 13 日（土）〜3 月 10 日（日）にを構築した．なお，本データ収集実験は，奈良先端科学技術かけて開催された「特別展 漂泊の画家 不染鉄 〜理想郷を大学院大学人を対象とする研究に関する倫理審査委員会の求めて*2 」
（以降，不染鉄展）である．作品の多くが掛け軸

承認を受けて実施したものである（承認番号：2020-I-3-2）．

や布・紙に描かれており，平面的な作品が壁に展示されて以降では，データ収集の実験環境および被験者，実験にいる．一部は屏風に描かれた立体作品も含まれる．

用いるデバイスおよび実験の手順，データセットの詳細について説明する．

データセット構築にあたって，各展覧会から代表的な作品を選定した．実験対象となる作品の選定の選定基準は，

1) 館内に作品が分散していること，2) 対象作品同士が隣接
3.1 対象とする展覧会
本実験では，奈良県立美術館の協力の下，同館で開催された２つの展覧会を対象とした．

しないこと，3）作品の多様性が保たれること（同種の作品ばかりにならないようにすること），を設定し，展覧会担当の学芸員との協議によって決定した．

１つ目は，2023 年 7 月 8 日（土）〜9 月 3 日（日）にかけて開催された「企画展 富本憲吉展のこれまでとこれか*1*2

https://www.pref.nara.jp/secure/224770/PR_Tomimoto_v2.pdf
https://www.pref.nara.jp/secure/264513/PR_Fusen_20240105.pdf

3

社会情報学会関西支部研究報告
SSI Kansai Technical Report

表 2: 不染鉄展における実験対象の展示作品
番号

作品名

制作年（年）

寸法（cm）a)

健常者

視覚障がい者

P

冬1923（大正 12）

h51.5 × w76.0

◯

◯

Q

山海図絵（伊豆の追憶）

1925（大正 14）h186.0 × w210.0

◯

◯

R

都跡村之図

1927（昭和 2）h38.0 × w69.5

◯

-

S

秋色山村

1926-1944（昭和初期）

h95.6 × w86.3

◯

-

T

仙人掌

1933（昭和 8）h168.0 × w179.0

◯

◯

U

山

不明

h59.9 × w191.1

◯

-

V

萬山飛雪

1935-1944（昭和 10 年代）

h133.3 × w33.4

◯

-

W

奈良風景

1946（昭和 21）

h27.0 × w116.0

◯

-

X

蓬莱山之図

1945-1965（昭和中期）

h68.0 × w68.0

◯

-

Y

南海之図

1955-1964（昭和 30 年代）

h174.8 × w93.8

◯

◯

-

Z

薬師寺東塔之図1965-1974（昭和 40 年代）

h122.0 × w84.8

◯

AA

いちょう

1965-1974（昭和 40 年代）

h89.0 × w115.0

◯

-

AB

落葉浄土

1974（昭和 49 年）

h93.0 × w105.0

◯

-

X

AB

a)

記号はそれぞれ，h：高さ，w：横幅を示す．

Y

AA

Z

2F

P

Q

2F

1F

開始
地点

S

T

U

実験対象作品
実験ルート
作品棚

R

V

W

障害物(ベンチ等）

1F
10 m

図 3: 不染鉄展における実験対象作品の位置と鑑賞順路

3.2 データ収集の実験設定（水）の 2 日間で実施した．
被験者は合計 22 名であり，属性は以下の通りである．

ここでは，各展覧会におけるデータ収集の実験設定（実験対象作品，鑑賞経路，被験者）について述べる．

22 名は一般募集による参加者であり，残り 4 名は視覚障が富本憲吉展

いを持つ参加者*3 である．視覚障がいを持つ参加者に対しデータ収集実験の対象として表 1 の 15 作品を選定した．

ては，対象作品を全て短時間で鑑賞することが難しいこと

なお，対象作品の位置や鑑賞順路は図 2 に示す通りであから，表 2 に示す 4 作品に限定し，各作品についての解説

る．実験は美術館閉館日の 2023 年 8 月 14 日（月）・21 日

を充実させる形でデータ収集を実施した．性別については，（月）および開館日の 8 月 22 日（火）の 3 日間で実施した．

男性 9 名，女性 13 名であり，年齢については，10 代 2 名，

被験者は合計 40 名であり，属性は以下の通りである．

20 代 2 名，30 代 2 名，40 代 4 名，50 代 5 名，60 代 3 名，

実験参加の経緯は，一般募集による参加者 31 名，美術館

70 代 4 名となっている．

での研修生（大学生）9 名であり，7 割以上が一般市民となっている．被験者はすべて健常者である．性別について

3.3 実験に用いるデバイス

は，男性 16 名，女性 22 名，不回答 2 名であり，年齢につ本実験では，スマートフォン（Apple，iPhone 12 Pro*4 ），いては，20 代 16 名，30 代 4 名，40 代 7 名，50 代 7 名，

ボイスレコーダ（QZT，MZ008），骨伝導スピーカ（HiTack，

60 代 3 名，70 代 1 名，不回答 2 名となっている．

Z8）を用いた．スマートフォンでは，著者らが開発した美

不染鉄展

*3

データ収集実験の対象として表 2 の 13 作品を選定した．
なお，対象作品の位置や鑑賞順路は図 3 に示す通りである．実験は美術館開館日の 2024 年 2 月 27 日（火）
・28 日

*4

視覚障がいの度合いとしては個人差はあるものの，本実験においては弱視（目の前にあるものについて，ぼんやりと何かがあることは分かるが，それが何かを判別することが困難）であることを条件として募集した．
https://support.apple.com/kb/SP831

4

社会情報学会関西支部研究報告
SSI Kansai Technical Report(a) 美術館選択画面(b) 美術館ホーム画面(c) 館内ナビゲーション画面(d) 心理状態ラベル報告画面（感情）(e) 心理状態ラベル報告画面（満足度）

図 4: MusA アプリの画面
手順 2： アプリを用いた作品鑑賞

ボイスレコーダ

次に被験者は，MusA アプリを利用して美術作品の鑑賞，および，心理状態ラベル付けを行う．
アプリを起動すると図 4(a) に示すような美術館を選択する画面が表示される．リストの中から作品を鑑賞する美術館を選択することで図 4(b) に示すような画面に遷移し，「地図でナビゲーション」を選択するとカメラが起動する．
スマートフォン

この状態が作品鑑賞の基本的な画面となっており，作品や(a) 使用するデバイス(b) デバイスの利用状況

図 5: 実験用デバイスと利用の様子

マーカを読み込むことで文章や音声による展示作品の解説を受けることができる．
鑑賞の開始にあたり，被験者は開始地点のマーカをカメ

術館音声ガイダンスアプリ “MusA”（図 4）を用いて，美ラで読み込む．ナビゲーションが開始すると，対象となる

術作品鑑賞者の行動データや心理状態ラベル（感情・満足

次の展示作品までの経路がアプリの画面上に表示される．

度）を収集する．スマートフォンの背面に取り付けられた

経路案内は，図 4(c) に示す通り，地図および AR によってボイスレコーダー（図 5(a)）では，作品鑑賞中の継続的示される．被験者はナビゲーションに従って展示作品までな音声データを収集する．ガイダンス音声が収録されるこ

移動し，展示作品の前にあるマーカを読み込んで音声解説とを防ぐため，ガイダンスは骨伝導スピーカを介して被験を受けつつ，作品を鑑賞する．作品の鑑賞中は図 6(a) に者に提示される．図 5(b) に実験用デバイス利用の様子を示すような画面が提示される．こレに加えて視覚障がいを示す．

持つ被験者については，対象作品が少ない代わりに図 6(b)に示すようなガイドを AR によって表示しつつ，どこに何

3.4 データ収集の手順
ここでは，データ収集の手順を，MusA アプリ（図 4）を用いた作品鑑賞の一連の流れに沿って説明する．

が描かれているのかを解説する追加画面が提示される．作品鑑賞が終わった後，展示作品に対する感想を 30 秒程度述
べ，スマートフォンに装着したボイスレコーダーを用いてその音声データを記録する．その後，アプリ画面右上に表

手順 1： データ収集実験に関する説明
まず被験者は，実験の趣旨，実験の手順，MusA アプリの使用方法，心理状態ラベルの概要と回答方法について説明を受ける．その後，実験参加同意書に署名し，事前アンケートに回答する．事前アンケートは，スマホの利用経験
や美術館への訪問経験などを調査するための質問項目を設示される「next」のボタンをタップすると，図 4(d)(e) に示すダイアログが表示され，展示作品に対する心理状態ラベル（感情・満足度）を回答することができる（回答の選択肢に関しては後述する）．心理状態ラベルを回答した後，ダイアログの「送る」のボタンをタップすると，回答内容が保存され，次に鑑賞する展示作品位置へのナビゲーショ

定している．

5

社会情報学会関西支部研究報告
SSI Kansai Technical Report

表 3: 心理状態ラベルの選
表 4: 心理状態ラベルの選

択肢（感情）

択肢（満足度）

選択肢

選択肢

興奮した

点数

幸せな・嬉しい

非常に満足できた

3

落ち着いた・リラックスした

満足できた

2

特に変わらない

やや満足できた1

眠い・疲れたどちらともいえない0

つまらなかった・落ち込んだ

あまり満足できなかった-1

がっかりした

満足できなかった-2

動揺した・イライラした

全く満足できなかった-3

怖い・恐れた

表 5: TIPI-J の設問内容 [17]項目番号(a) 作品ガイダンス画面(b) ARを用いた作品ガイダンス画面（視覚障がい者のみに提示）

図 6: MusA アプリの作品ガイダンス画面例

ンが開始される．
上記の手順が 1 つの展示作品あたりの移動および鑑賞に設問

1

活発で，外交的だと思う

2

他人に不満をもち，もめごとを起こしやすいと思う3

しっかりしていて，自分に厳しいと思う

4

心配性で，うろたえやすいと思う

5

新しいことが好きで，変わった考えをもつと思う

6

ひかえめで，おとなしいと思う

7

人に気をつかう，やさしい人間だと思う

8

だらしなく，うっかりしていると思う9

冷静で，気分が安定していると思う

10

発想力に欠けた，平凡な人間だと思う

対応する「1 セッション」と定義し，実験対象の展示作品を全て鑑賞し終えるまでセッションを繰り返す．
手順 3： 事後アンケート
全ての展示作品を鑑賞後，被験者は事後アンケートに回表 6: TIPI-J における非認知能力の点数計算方法
非認知能力

点数計算方法外向性｛項目 1 ＋（8 −項目 6）｝/2

協調性｛項目 7 ＋（8 −項目 2）｝/2

答する．事後アンケートは，被験者の属性情報（年齢層・勤勉性｛項目 3 ＋（8 −項目 8）｝/2

性別），パーソナリティ（性格）やアプリの使用感について

神経症傾向｛項目 4 ＋（8 −項目 9）｝/2

開放性｛項目 5 ＋（8 −項目 10）｝/2

調査するための質問項目を設定している．

3.5 収集データのサマリ
上述のデータ収集手順によって得られるデータセットの内容を以下に示す．
作品鑑賞中の行動・音声データ 被験者が作品を鑑賞する
際の一連の行動・仕草のデータとして，スマートフォ
ンの IMU センサから 3 軸加速度・3 軸各速度のデータを取得した．また，作品やガイダンスに対して抱いた感想を鑑賞直後に口頭で 30 秒程度述べてもらい，その内容をボイスレコーダーを用いて記録することで，音声データを取得した．

に分割した．満足度については，国土交通省の観光満足度調査に利用される 7 段階リッカート尺度を採用した（表 4）．なお，平常時（観光開始前）の満足度は 3としている．
実験後アンケート 被験者には実験後アンケートとして日本語版 Ten Item Personality Inventory（TIPI-J）[17]を用いたパーソナリティ試験に回答してもらった．

TIPI-J は Big 5 と呼ばれる非認知能力（外交性・協調性・勤勉性・神経症傾向・開放性）を測定するための 10 項目からなる尺度である．表 5 に TIPI-J にお心理状態ラベル 被験者が美術作品を鑑賞した後の心理状ける設問を示す．これらの設問に対し，全く違うと思態データとして，感情と満足度を取得した．これらのう（1）〜強くそう思う（7）の 7 段階のリッカートス

データは，各作品の鑑賞後に鑑賞者自身がアプリ上でケールで回答する．その後，表 6 によって点数計算を入力を依頼した．感情については，Russell らが定義行うことで評価する．各項目とも点数の最小値は 1，

する 2 次元の感情円環モデル [16] を用いる．このモデ最大値は 7 になる．

ルに基づき，感情状態を表 3 に示すように 9 カテゴリ6

社会情報学会関西支部研究報告
SSI Kansai Technical Report

回答 数

図 7: 富本憲吉展における作品別の感情ラベル回答数および全体の回答数

非常に満足できた ...
満足できた ...
やや満足できた ...
どちらともいえない ...
あまり満足できなかった ...
満足できなかった ...
全く満足できなかった ...

回答 数

図 8: 富本憲吉展における作品別の満足度ラベルの分布および全体の回答数

4. データセットの基礎分析収集したデータセットを概観するため，心理状態ラベル（感情・満足度）および事後アンケートの TIPI-J（Big 5）について，基礎的な分析を行う．

4.1 心理状態ラベルの分析
それぞれの展覧会について，心理状態ラベル（感情・満足度）についてデータセットを概観する．なお，被験者によって回答が得られていないサンプルも存在するため，回答数には多少のばらつきがある．
富本憲吉展
作品 15 点・被験者 40 名を対象とし，感情ラベル 482 件，
満足度ラベル 556 件の心理状態ラベルデータが得られた．
感情ラベル・作品別の感情ラベル回答数，および感情ラ
ベル別回答数のヒストグラムを図 7 に示す．この結果から，「興奮した」「幸せな・嬉しい」「落ち着いた・リラック

図 9: 富本憲吉展における満足度・感情ラベルの組スした」という，Russell の円環感情モデル [16] におけるポジティブの領域に属する回答が多数を占めるデータが得られた．一方で，「特に変わらない」やその他のネガティブな感情についても回答が得られている．全体としては，上述のポジティブ感情が 83%（399 件），ネガティブ感情が 5%（25 件），その他が 12%（58 件）という割合のデータセッ

7社会情報学会関西支部研究報告
SSI Kansai Technical Report

回答数

図 10: 不染鉄展における作品別の感情ラベル回答数および全体の回答数

非常に満足できた ...
満足できた ...
やや満足できた ...
どちらともいえない ...
あまり満足できなかった ...
満足できなかった ...
全く満足できなかった ...

回答 数

図 11: 不染鉄展における作品別の満足度ラベルの分布および全体の回答数トとなっている．
次に，作品別における満足度ラベル回答の分布を箱ひげ図で表したもの，および満足度ラベル別回答数のヒストグ
ラムを図 8 に示す．全体的に展示作品の満足度は高い分布となっているが，その中でも特に作品 J・K が鑑賞者にとって満足度の高い作品と回答されている（少なくとも70%以上の鑑賞者が満足度ラベル 2 以上を回答している）．
一方で，作品 A・G など満足度に大きなばらつきが存在す
るものや，外れ値的に満足度が低くなっている回答が得られている作品も見られる．全体としては，満足できたサンプル（1 ≥）が 84%（466 件），満足できなかったサンプル（−1 ≤）が 7%（40 件），どちらともいえない（0）が 9%

図 12: 不染鉄展における満足度・感情ラベルの組（50 件）という割合のデータセットとなっている．
最後に，感情と満足度のそれぞれのラベルの組み合わせを図 9 に示す．概ね，感情がポジティブであれば満足度に関する期待値と実際の状況のギャップとしてネガティブは向上するような関係にあることがわかる．一方で，ネガな感情になりつつも，作品そのものは悪くないと感じた，

ティブな感情（「眠い・疲れた」「がっかりした」など）であというような相対的な要因による評価のねじれが発生する

りながらも，満足度が高いものも含まれており，その作品可能性が示唆されている．

8

社会情報学会関西支部研究報告
SSI Kansai Technical Report

図 13: 富本憲吉展における Big 5 の分布
不染鉄展
作品 13 点・被験者 18 名（健常者），作品 4 点・被験者4 名（視覚障がい者）を対象とし，感情ラベル 196 件，満足度ラベル 204 件の心理状態ラベルデータが得られた．なお，実験の都合上，各被験者につき 40 分程度で鑑賞を打ち切っているため，終盤の作品に関しては得られた回答が少なくなっている．
感情ラベル・作品別の感情ラベル回答数，および感情ラ
ベル別回答数のヒストグラムを図 10 に示す．富本憲吉展と同様に，「興奮した」「幸せな・嬉しい」「落ち着いた・リ
ラックスした」という，ポジティブの領域に属する回答が多数を占めるデータが得られた．一方で，作品 Y では「怖い・恐れた」が最も多い回答数が得られた．この作品は孤島と海の上に一艘の船が浮かぶ様子が描かれた作品であり，鑑賞者にとって不安な気持ちが想起されたものと考えられる．全体としては，上述のポジティブ感情が 83%（163件），ネガティブ感情が 8%（16 件），その他が 9%（17 件）という割合のデータセットとなっている．
次に，作品別における満足度ラベル回答の分布を箱ひげ図で表したもの，および満足度ラベル別回答数のヒストグ
ラムを図 11 に示す．富本憲吉展と同様に，全体的に展示
作品の満足度は高い分布となっており，全体的に満足度のばらつきが小さいデータとなっている．全体としては，満足できたサンプル（1 ≥）が 92%（187 件），満足できな
かったサンプル（−1 ≤）が 2%（5 件），どちらともいえな
い（0）が 6%（12 件）という割合のデータセットとなっている．
最後に，感情と満足度のそれぞれのラベルの組み合わせを図 12 に示す．富本憲吉展と同様に，感情がポジティブ
であれば満足度は向上するような関係にあることがわかる．一方で，作品 Y など「怖い・恐れた」のネガティブな

図 14: 不染鉄展における Big 5 の分布値が高まる）ような作品であることが考えられる．本研究
では心理状態として「感情」と「満足度」を個別に推定することを想定しているが，その必要性が支持される事例と考えている．

4.2 TIPI-J（Big 5）の分布
図 13・図 14 に富本憲吉展およびに不染鉄展における，

TIPI-J（Big 5）の項目ごとにおける点数の分布を箱ひげ図として示す．全体として，いずれの項目についてもばらつきが見られており，被験者属性には大きな偏りは存在しな
いといえる．
一方で，図 13 と図 14 を比較すると，外向性の項目において大きく傾向が異なっていることがわかる．これは，被験者募集の方法が，展覧会の情報についても提示したうえで応募してもらう方式を採用している都合上，展覧会の種別（富本憲吉展は陶芸の立体作品，不染鉄展は絵画が中心の展覧会であった）によって，応募者に偏りが生じた可能性がある．

5. まとめ本研究では，鑑賞者の心理状態を推定することによって，鑑賞者の興味や関心に合わせたナビゲーションを実現する
ことにより，鑑賞体験の向上を目指している．この実現にむけ本稿では，奈良県立美術館にて開催された 2 つの展覧会において，計 28 作品，62 名の被験者を対象とした，マルチモーダルデータセットの構築実験を行った．
今後は構築したデータセットを用いて，鑑賞者の心理状
態推定モデルの構築に取り組むとともに，推定結果に基づくガイダンスシステムの動的な変更手法の考案に取り組む予定である．
謝辞

本研究の一部は，JST さきがけ（JPMJPR2039）

感情について満足度が高くなる，という興味深い傾向が見の助成を受けたものです．本研究実施にあたって，多大なられた．これは当該作品が，ネガティブな感情が想起されるご支援を賜りました奈良県立美術館の皆様に深く感謝をることが期待される（怖さや恐れを感じることで作品の価申し上げます．

9

社会情報学会関西支部研究報告
SSI Kansai Technical Report

参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

文部科学省： 新しい時代の博物館制度の在り方について.
https://www.mext.go.jp/b_menu/shingi/chousa/shougai/014/toushin/07061901.pdf.
文化庁： 博物館に関する研修：ミュージアム・エデュケー
ション研修. https://www.bunka.go.jp/seisaku/biju
tsukan_hakubutsukan/kenshu/.
文化庁： 博物館数・入館者数・学芸員数の推移. https://www.bunka.go.jp/seisaku/bijutsukan_hakubutsu
kan/shinko/suii/.
奈 良 県： 奈 良 県 立 美 術 館 奈 良 県 公 式 ホ ー ム ペ ー ジ.
https://www.pref.nara.jp/11842.htm.
Sun, J. C.-Y. and Yu, S.-J.: Personalized Wearable
Guides or Audio Guides: An Evaluation of Personalized Museum Guides for Improving Learning Achievement and Cognitive Load, International Journal of
Human–Computer Interaction, Vol. 35, No. 4-5, pp.
404–414 (online), DOI: 10.1080/10447318.2018.1543078(2019).
Resch, B., Summa, A., Sagl, G., Zeile, P. and Exner,
J.-P.: Urban Emotions – Geo-Semantic Emotion Extraction from Technical Sensors, Human Sensors andCrowdsourced Data, Progress in Location-Based Services 2014, pp. 199–212 (2014).
Kaya, H., Karpov, A. A. and Salah, A. A.: Robust
Acoustic Emotion Recognition Based on Cascaded Normalization and Extreme Learning Machines, Advancesin Neural Networks - ISNN 2016, pp. 115–123 (2016).
Quck, W. Y., Huang, D. Y., Lin, W., Li, H. and Dong,
M.: Mobile Acoustic Emotion Recognition, 2016 IEEE
Region 10 Conference (TENCON), pp. 170–174 (2016).
Tzirakis, P., Trigeorgis, G., Nicolaou, M. A., Schuller,
B. W. and Zafeiriou, S.: End-to-end multimodal emotion
recognition using deep neural networks, IEEE Journal of
Selected Topics in Signal Processing, Vol. 11, No. 8, pp.
1301–1309 (2017).
Zheng, W. L., Dong, B. N. and Lu, B. L.: Multimodal emotion recognition using EEG and eye tracking
data, 2014 36th Annual International Conference of theIEEE Engineering in Medicine and Biology Society, pp.
5040–5043 (online), DOI: 10.1109/EMBC.2014.6944757(2014).
Zhang, Z., Song, Y., Cui, L., Liu, X. and Zhu, T.: Emotion Recognition based on Customized Smart Braceletwith Built-in Accelerometer, PeerJ, Vol. 4, p. e2258(2016).
Rach, N., Matsuda, Y., Ultes, S., Minker, W. and Yasumoto, K.: Estimating Subjective Argument Quality
Aspects from Social Signals in Argumentative Dialogue
Systems, IEEE Access, Vol. 9, pp. 11610–11621 (online),
DOI: 10.1109/ACCESS.2021.3051526 (2021).
Rach, N., Matsuda, Y., Daxenberger, J., Ultes, S. andYasumoto, Keiichi, M. W.: Evaluation of Argument
Search Approaches in the Context of Argumentative Dialogue Systems, The 12th International Conference on
Language Resources and Evaluation (LREC ’20), pp.
513–522 (2020).
Matsuda, Y., Fedotov, D., Takahashi, Y., Arakawa, Y.,
Yasumoto, K. and Minker, W.: EmoTour: Estimating
Emotion and Satisfaction of Users Based on Behavioral
Cues and Audiovisual Data, Sensors, Vol. 18, No. 11,
pp. 1–19 (online), DOI: 10.3390/s18113978 (2018).
Hayashi, R., Matsuda, Y., Fujimoto, M., Suwa, H. andYasumoto, K.: Multimodal Tourists’ Emotion and Satisfaction Estimation Considering Weather Conditions

[16]

[17]

and Analysis of Feature Importance, The 13th International Conference on Mobile Computing and Ubiquitous Networking (ICMU ’21), pp. 145–150 (online),
DOI: 10.23919/ICMU50196.2021.9638938 (2021).
Russell, J. A.: A circumplex model of aﬀect, Journalof personality and social psychology, Vol. 39, No. 6, pp.
1161–1178 (online), DOI: 10.1037/h0077714 (1980).
小塩真司，阿部晋吾： 日本語版 Ten Item Personality
Inventory (TIPI-J) 作成の試み，パーソナリティ研究，Vol. 21, No. 1, pp. 40–52 (2012).

10