画像電子学会第7回デジタルミュージアム・人文学(DMH)研究会

AI による自動キュレーションを備えたバーチャル・ゴッホ・ミュージアム
－ChatGPT を用いたキュレーションの実装－
山内 大輝† 林 正樹†† 平山亮‡
†大阪工業大学大学院情報科学研究科情報科学専攻 〒573-0196 大阪府枚方市北山１丁目 79-1††ウプサラ大学ゲームデザイン学科 Cramérgatan 3, 621 67 Visby, SWEDEN‡大阪工業大学情報科学部 〒573-0196 大阪府枚方市北山１丁目 79-1
E-mail: †m1m23a35@oit.ac.jp, ††hayasim77@gmail.com ‡makoto.hirayama@oit.ac.jp
あらまし
デジタルアーカイブやデジタルによる展示・鑑賞体験の提供の重要性が再認識されている．デジタ
ルアーカイブとしての保存と公開，教育，広報などへの活用を考え，美術初学者から学芸員レベルの知識を持った人にまで扱えるような自動キュレーションを備えたバーチャルミュージアムを開発した．今回は対象をヴァン・ゴッホの絵画に限った．生成 AI の ChatGPT を使うことで，ユーザーが対話的に展示作品の要望を AI に文章で伝え，それに対する AI の回答から展示絵画を特定し，これらを CG のバーチャル空間に展示する．本稿では，このアプリケーションの実験とその考察，そして今後の展望について述べる．
キーワード
バーチャルミュージアム・ChatGPT・キュレーション

Virtual Van Gogh Museum with automatic curation by AI－Implementation of curation using ChatGPT－
Daiki YAMAUCHI† Masaki HAYASHI†† and Makoto J. HIRAYAMA‡†Department of Information Science, Graduate School of Information Science,Osaka Institute of Technology 79-1 1-choume Kitayama, Hirakata city, Osaka, 573-0196 Japan††Uppsala University, Department of Game DesignCramérgatan 3, 621 67 Visby, SWEDEN‡Osaka Institute of Technology, Department of Information Science 79-1 1-choume Kitayama, Hirakata city, Osaka,
573-0196 Japan
E-mail: †m1m23a35@oit.ac.jp, ††hayasim77@gmail.com ‡makoto.hirayama@oit.ac.jp
Abstract
The significance of providing digital archives and digital exhibition experiences is being reemphasized. Considering theutilization of digital archives for preservation, public access, education, and promotion, a virtual museum with automatedcuration capabilities was developed to cater to individuals with knowledge ranging from art novices to museum professionals.
The focus of this project was specifically on the paintings of Vincent van Gogh. Utilizing the generative AI ChatGPT, a user caninteractively convey their preferences for exhibited artworks to the AI through text. The AI's response is then used to identify
specific exhibition paintings, which are displayed in a virtual space using CG. This paper discusses the experimentation with thisapplication, provides insights, and outlines future prospects.

Keyword Virtual Museum，ChatGPT，Curationと」が追加された．また，改正博物館法の公布通知で

1. はじめに
近 年 で は ， IT や デ ジ タ ル 技 術 の 発 展 に よ り ， 企 業 がは，留意事項として「デジタル技術を活用した博物館資AI や IoT をはじめとするデジタル技術を活用する DX料のデジタルアーカイブ化とその管理及びインターネッが進められている．これは博物館も例外ではない．コロトを通じたデジタルアーカイブの公開、インターネット

ナ禍において，博物館の利用制限が課されたことによを通じた情報提供と教育や広報、交流活動の実施や展り，デジタルアーカイブ やデジタルによる展示・鑑賞体

示・鑑賞体験の提供のために資料をデジタル化する取組

験の提供の重要性が再認識された．令和 4 年，約 70 年を含むこと」 とされている [ 1 ] ．そこで，美術初学者からぶりに改正された改正博物館法では，博物館の事業に学芸員レベルの知識を持った人まで扱えるようなコンテ「博物館資料に係る電磁的記録を作成し、公開するこンツとして，生成 AI である ChatGPT による自動キュ13

画像電子学会第7回デジタルミュージアム・人文学(DMH)研究会

レーションを搭載したバーチャルミュージアム を開発した．
本稿では，まず既存のバーチャルミュージアムと4. 自 動 キ ュ レ ー シ ョ ン を 搭 載 し た バ ー チ ャ ル ミ

ChatGPT に つ い て 説 明 す る ． 次 に ， 本 研 究 の 目 的 ， 新ュージアム

たに開発したバーチャルミュージアムについて具体的にChatGPT と バ ー チ ャ ル ミ ュ ー ジ ア ム を 組 み 合 わ せ る

説明する． 続いて考察を述べ，最後に結論と今後の展望

ことで，自動キュレーションを搭載したバーチャルミュについて述べる．

ージアムを開発した．美術としてのキュレーションとは，展覧会を立案，監督することで， 展覧会のコンセプトに応じて開催場所や作品選びを する．キュレーション

2.バーチャルミュージアムと ChatGPT
本研究で扱うバーチャルミュージアム [ 2 ] [ 3 ] は，絵画作を専門とする 人の こと をキ ュレータ (学 芸員)と呼 ぶ． 今品の画像データを自動額装し，自動キャプションを付

回は，作品数を絞るために Vin cent van Gogh の作品のけ ， 原 物 と 同 じ サ イ ズ で CG 美 術 館 に 展 示 す る こ と が でみに絞って開発を進めた．開発はゲームエンジンである

き る ． さ ら に ， 展 示 す る 絵 の 数 に 応 じ て CG 美 術 館 の 形

Unity を使用，ChatGPT API で連携し，モデルは GPT-4自体を変化させる．鑑賞時は鑑賞者の 視点で操作するこを使用している．とが可能で，マウスを振ることであたりを見回し，WASDキーで前後左右に動く，もしくはマウスホイールで前後進ができる．絵に対して左クリック することでカメラの位置を絵画が飾ってある壁方向に固定し，あらかじめ設定された ルートで絵を鑑賞することもできる．マ
ウスを水平移動することで 隣の作品に視点を移し，垂直方向に振ることでカメラの高さを変更，マウスのホイー
ルを動かすことで作品に近づき，より詳細に観察することもできる．
一方，ChatGPT は，OpenAI が公開している 人工知能
チャットボット であり，生成 AI の一種である．ユーザ
ーが入力した文章に対して，人間のような自然な対話形式で答えることができる ．

3 目的
博物館資料においてデジタル技術を活用する目的にはデジタルアーカイブとしての保存と公開，教育，広報などが挙げられる．こういった目的の対象とされるユー

図 1

GPT-4 言語別パフォーマンス比較 [ 4 ]ザーは美術について全く知らない初学者から，学芸員のような十分に知識を持った人たちまで幅広く存在する．

図 1 は言語モデルを評価するためのベンチマーク でまた，学校教育への活用を考えた場合 ，既存のデジタルある MMLU ベンチマークにより ChatGPT を言語別でコンテンツのような受け身の形だけでなく ，自分から興性能を比較したものである．この図から GPT-4 English

味を持って調査する姿勢が重要であると考える．そこが その他言語のパフォーマンスを上回っていることがで，初学者に対しては，自分から見たい絵に関して能動わかる．よって，今回の開発では ChatGPT に入力する的に体験できる こと，十分な知識を持った人たちには自プロンプトを英語で作成した．

身の知識の確認や，広報として活用できるようなアプリ
ケーション を目標として開発を進めた．

4.1.絵画データベース作成
ま ず は ， Web ペ ー ジ 「 フ ィ ン セ ン ト ・ フ ァ ン ・ ゴ ッ
ホの作品一覧」の英語版から，全作品の画像データ（ Wikimedia Commons [ 5 ] よ り 入 手 ）， メ タ デ ー タ をWeb Scraping 手法により取得した．メタデータは XML化し，画像データ XXX.jpg と共に XXX.xml の形で蓄

14

画像電子学会第7回デジタルミュージアム・人文学(DMH)研究会積される（およそ 800 点）．

ァ イ ル を 読 み 込 み ， API キ ー を 取 得 す る ． API と は次に，これら絵画のデータベース を CSV ファイルで「Application Programming Interface」の略で異なるソ作成した．このファイルには，画像ファイルの名前，フフトウェアやアプリケーション同士をつなげるための仕ァイルのデータサイズ，タイトル，制作年，制作月，現組みで ある ．API キ ーは API に アク セスす るた めに 必在保有している博物館，博物館の場所，制作された場要な情報で，アクセスしようとしているユーザーを識別

所，高さと幅，描かれている媒体，ゴッホ公式のカタロするために使われる．次に，ChatGPT に，「ゴッホの学グにおいて個別につけられた F 番号と JH 番号，画像デ芸員として質問に答えること」と「解答の形式についてータがカラーか白黒かが記載されている．の記述」について書いた初期プロンプトを送信する．これ に よ り ， ChatGPT が ゴ ッ ホ の 学 芸 員 と し て 返 答 し てくれるようになる．

4.2.アプリケーション開発
バーチャルミュージアム と ChatGPT は ChatGPT のAPI キ ー を 取 得 し て 連 携 し た ． ま た ， Unity 上 でChatGPT を 扱 う た め の ラ イ ブ ラ リ を 用 い て 開 発 を 行 った．以下にアプリケーションの起動から絵画の展示までの流れを説明する．

図 3開始画面

図 3 はアプリケーションをスタートしてすぐの画面である．左上に操作方法が記載されており，画面右側にChatGPT と ユ ー ザ ー の 会 話 が 表 示 さ れ る ． 開 始 し て す
ぐには ChatGPT からの挨拶文が表示されている ．画面
右下のインプットボックスに見たい絵に関する要望を入力することが出来る．

図 4 要望入力後画面「絵を三つください」
図 4 は要望入力後の画面である．今回は「絵を三つ下さい」という要望に対して「星月夜」，「ひまわり」，「夜のカフェテラス」の 3 枚の題名と F 番号が出力された．アプリケーション起動してすぐに送信した初期プロ
ンプトにはユーザーからの要望に対して，題名と F 番
図 2号を「 -“題名 ”,”F 番 号も し くは JH 番号 ”」 の形 式で 出

起動から絵画展示までのフローチャート

力するように 指示している．これは ChatGPT の出力し
図 2 は起動から絵画展示までの概要を示したフローチ

た文章から必要な情報を抜き出しやすくするためであャートである．まず，起動するとデータベースの csv フる．正規表現を使うことにより題名と F 番号もしくは15画像電子学会第7回デジタルミュージアム・人文学(DMH)研究会

JH 番 号 を 抜 き 出 し ， デー タ ベ ー ス と 照 合 する こ と で ，ゴッホの絵の中で最も有名な 3 枚であり，絵を特定する出力された文章の作品を展示している ．また，題名と番ような質問でない場合は有名な絵が優先されると考えら

号 の ２ つ を 指 定 し た の は ， 題 名 の み の 出 力 の 場 合 ，「 ひれる．

まわり」のような同名の別作品を識別することが出来な「明るい感じの絵を 3 つください」に対して飾られた

いため，題名と一緒に F 番号・JH 番号を出力すること

作 品 は ど れ も 明 る い 色 彩 で 描 か れ て い る も の だ が ，「 フで識別を可能にしている．

ァ ン ゴ ッ ホ の 寝 室 」 は 自 身 の 寂 し さ や 孤 独 ，「 夜 の カ フェ」に関してはカフェ内部の退廃したムードを描いた作品である．そのため色彩的にのみ明るい作品が選択されて い る こ と が わ か る ． ChatGPT を 扱 う 利 点 と し て ， このような抽象的な要望に応えることができる点がある
が，作品の意味や背景を理解して出力することは難し
い．しかし，抽象的な要望は主に美術初学者から得られると考えているため，そういった人たちの興味・関心を引くきっかけとしては十分である ．
最後の「パリ時代より前のまだ彼の絵が暗かったこ

図 5

要望入力後画面「明るい感じの絵を 3 つくださろの「ひまわり」の絵をおしえて」 に関しては要望と関い」

係ない作品が 2 種類展示されてしまった．アルル時代の「 ひ ま わ り 」 は 要 望 内 容 の 作 品 名 か ら ，「 リ ン ゴ 、 セ イ

図 5 は「明るい感じの絵を 3 つください」という要望

ヨウナシ、レモン、ブドウのある静物 」はその色合いか

入 力 後 の 画 面 で あ る ． こ の 要 望 に 対 し て ，「 夜 の カ フら出力されてしまった．これらの対策として，初期プロ

ェ」，「ひまわり」，「ファンゴッホの寝室」の 3 枚が展示

ンプトの見直しや，適切なプロンプトを調査し，要望例された．

をアプリケーション 内に記載するなどが必要である．

6.結論
本稿では，キュレーション に ChatGPT を使った，バーチャル・ゴッホ・ミュージアム の設計・製作について説明した．これにより，ユーザーは，展示して欲しいゴッホの絵画を自然言語で指示することで自動展示された絵画を楽しめるようになった．そして，本アプリケーシ
ョンを筆者らの中で実験した結果について考察を加え
図 6 要望入力後画面「パリ時代より前のまだ彼の絵がた．

暗かったころの「ひまわり」の絵をおしえて 」

今後の展望として，評価実験を一般に拡大し，そのフ ィ ー ド バ ッ ク を 得 て ， ChatGPT の プ ロ ン プ ト の 調 整

図 6 は「パリ時代より前のまだ彼の絵が暗かったころを繰り返し，よりよいキュレーション ができるように改の「ひまわり」の絵をおしえて」という要望入力後の画良すること，ChatGPT の UI をウェブ上の ChatGPT の面である．この要望に対して両端にパリ時代の「ひまわようにチャット形式にすること，よくある質問を簡単にり」，右から 2 番目にアルル時代の「ひまわり」，左から入力できるようなボタンの導入，ゴッホ以外の絵画への2 番目にひまわりとは関係がないパリ時代の 「リンゴ、対応などが挙げられる．

セイヨウナシ、レモ ン、ブドウのある静物 」という作品が展示された．

文

献[1] 文化庁，文化審議会第 4 期博物館部会（第 4 回），
https://www.bunka.go.jp/seisaku/bunkashingikai/hakubutsukan/hakubutsukan04/04/93834401.html[2] 林正樹，Steven B achelder ，中嶋 正之，“好きな画像を 自 動 展示 で きる CG 美 術館 : バー チ ャ ルミ ュージ ア ム自 動 生成 に 向け て ”，映 像 情報 メ ディ ア 学会 技 術 報 告 ， vol.40 ， No.11 ， pp.181-182 ，March.2016 .

5.考察
前述の実装によりユーザーの要望から絵画が展示され た ．「 絵 を 三 つ 下 さ い 」 の よ う な ラ ン ダ ム な 要 望 の 場
合，複数回実行しても「星月夜」，「ひまわり」，「夜のカフェテラス 」の同じ 3 枚が出力された．これらの作品は16画像電子学会第7回デジタルミュージアム・人文学(DMH)研究会[3] M. Hayashi ，S. Bachelderhold s，M. Nakajima andA Iguchi ， ”Virtual Museum Equipped with
Automatic Video Content Generator. ”，ITE Trans.
On MTA，Vol.4，No.1 ，pp.41-48, 2016.
[4] Open AI，GPT-4 Technical Report ，https://openai.
com/research/gpt-4[5] Wikimedia Commons ，Paintings by Vincent van Go g h，https://commons.wiki media.o rg/wiki/P aintin
gs_by_Vincent_van_Gogh17