画像電子学会第3回デジタルミュージアム・人文学（DMH）研究会

空中映像による非接触インタラクティブ展示の検討
柴田基輝†

大路真耶†
渡部大輔† 亀山将誠†
河北真宏‡ 平山亮‡

脇田亮††‡大阪工業大学情報科学部 〒573-0196 大阪府枚方市北山 1-79-1
E-mail: †{e1c19044, e1c19015, e1c19109, e1c19024, e1c19901}@st.oit.ac.jp,‡{masahiro.kawakita, makoto.hirayama}@oit.ac.jp
あらまし 現在，新型コロナウイルス感染拡大の影響により，資料館や博物館では来館者が減少している傾向にあり，資料館や博物館ではコロナウイルスの感染予防対策を行いつつ来館者を増やしていかなければならないという課題を抱えている．本稿では不特定多数の人間との間接的な接触を減らし，安全に展示を鑑賞できる対策として空中映像を用いた非接触インタラクティブ体験型の展示方法を提案する．まず映像を反射させることで空間に光を結像させることの出来る特殊な光学プレートを用いて空中に映像を投影する．そしてその投影された像に触れる手の動きをモーションセンサで取得し，映像に反映させることで，非接触でありながらインタラクティブな操作感を疑似的に体験できる．これにより接触を気にすることなく文化や歴史を楽しんで体験できる動的なコンテンツとして集客にも繋がると期待できる．
キーワード
展示システム・空中映像・非接触・パリティミラー・Leap Motion・UnityConsideration of a non-contact interactive exhibition using aerial images
Motoki SHIBATA†

Shinya OJI† Daisuke WATANABE† Masanari KAMEYAMA†

Ryo WAKITA† Masahiro KAWAKITA‡ and Makoto J. HIRAYAMA‡†‡Osaka Institute of Technology 1-79-1 Kitayama, Hirakata-City, Osaka, 573-0916, Japan
E-mail: †{e1c19044, e1c19015, e1c19109, e1c19024, e1c19901}@st.oit.ac.jp,‡{masahiro.kawakita, makoto.hirayama}@oit.ac.jp
Abstract Currently, the number of visitors to museums and archives is decreasing due to the spread of the new coronavirus,
and museums and archives are faced with the challenge of increasing the number of visitors while taking measures to preventthe spread of the coronavirus. In this paper, we propose a non-contact interactive exhibition method using aerial images as ameasure to reduce indirect contact with an unspecified number of people and to enable safe viewing of exhibits. First, weproject images in the air using a special optical plate that can form light in space by reflecting the images. Then, the motion
sensor acquires the movement of the hand that touches the projected image and reflects it in the image, allowing the user tosimulate the feeling of interactive operation without contact. This is expected to attract visitors as dynamic contents that allow
them to enjoy experiencing culture and history without worrying about contact.
Keyword Exhibition system，aerial video，non-contact, parity mirror, Leap Motion, Unity法を提案する． 展示資料を動的なコンテンツとして最1. はじめ に
現在，新型コロナウイルス感染拡大の影響により資新の映像技術で魅力的に表現することで 楽しみながら料館や博物館では来館者が減少している傾向にある．

歴史や文化を体験でき 集客にも繋がることが期待でき[1]そ の た め ， 資 料 館 や 博 物 館 で は コ ロ ナ ウ イ ル ス の 感る．

染予防に配慮を行いつつ来館者の増加を目指すことが具体的には映像を反射させることで空間に光を結課題となっており，これは文化や歴史に触れる機会の像 さ せ る こ と の 出 来 る 特 殊 な 光 学 プ レ ー ト [2 ] を 用 い て喪失にも繋がっている．

空中に映像を投影する． そしてその投影された像に触そこで，本稿では不特定多数の人間との間接的な接れ る 手 の 動 き を モ ー シ ョ ン セ ン サ [3 ] で 取 得 し ， 映 像 に触を減らし，安全に展示を鑑賞できる対策として空中反映させることで，非接触でありながらインタラクテ映像を用いた非接触インタラクティブ体験型の展示方

ィブな操作感を疑似的に 体験できる．

1画像電子学会第3回デジタルミュージアム・人文学（DMH）研究会

以下では，提案手法とその問題点，既存の技術との2.1.パリ ティ ミラ ーによ る空 中投 影

比較を踏まえて今後の課題を示していく．

既存の展示映像技術では， 透明な反射板を用いた ペッ パ ー ズ ゴ ー ス ト [ 8] な ど が あ る ．

2.提案 手法
人との接触を減らし文化や歴史を鑑賞する手法の先 行 研 究 と し て バ ー チ ャ ル ミ ュ ー ジ ア ム [ 4] [ 5 ] な ど が 挙げられる．本項の提案では，博物館や資料館の来館者数増加と文化や歴史に直接触れる機会の増加を目的とする．
空 中 映 像 投 影 は SF 映 画 の よ う な 未 来 感 あ る 操 作 性から家電，アミューズメント，自動車コックピットなど 今 後 も 様 々 な 用 途 で の 需 要 増 加 が 見 込 ま れ る [6 ] ． また直接ディスプレイに触れることなく操作できる衛生面的な利点から非接触タッチパネルとしての用途が拡
大 さ れ て お り ， 先 行 研 究 と し て 「 さ わ ら ず め く り [7] 」などがある．本項では空中映像投影を単に 操作パネルのようなインタフェースとして用いるだけでなく博物図 2： 既 存 の 展 示 方 法館や資料館の展示に活かす 手法を提案する．
ペッパーズゴーストとは古くから劇場などで用いられていた手法で，隠し舞台に置かれた物体がライトに照らされることでガラスに反射され，客席からは舞台上に物体があるように見せかける技術である．
図 2 はペッパーズゴーストによって実際に存在している物体と反射した映像を組み合わせることで視覚的な効果を与える様子を示してあり，例として 大阪城天守閣などではこのような展示方法が実際に使われている [9] ． ま た ， こ の ペ ッ パ ー ズ ゴ ー ス ト に よ っ て 得 ら れる空中像は虚像であり，反射板を通してのみ確認することができるため 像に直接触れることはできない．

図 1： 提 案 手 法 の 概 要
図 1 は今回の提案手法の概要を示した図である． 本
提案は光学プレートによる 空中映像投影技術とモーションセンサによるインタラクション技術 の２つの要素の組み合わせから構成されている．パリティ・イノベー シ ョ ン ズ が 開 発 し た パ リ テ ィ ミ ラ ー [ 2] と は 板 の 表 面に数十万個にも及ぶ大量の 小さな鏡が規則正しく配列された特殊な光学プレートである．プレートに光源を反射させると光が複数 の小さいミラーに反射し，その光が観測者の目の位置で結合することで像が 空間に立図 3： パ リ テ ィ ミ ラ ー が 空 中 投 影 す る 様 子

体的に表示されている様に見える ．そして空中に投影された像を触る手の動きをモーション センサで読み取今回使用するパリティミラーは図 3 の様に鏡映像をり，モニターの映像と連動させることでインタラクテ実像で結像させることが可能である ．そのため，一般ィブな操作が実現する．

的な光学系では実現不可能な歪みの無い 3 次元像の結像が実現できる．これによって空間に投影された実態

2画像電子学会第3回デジタルミュージアム・人文学（DMH）研究会のない像に触れることが 可能となる．
原理としては樹脂製の板の表面に配列された大量のブロック状の鏡に 光源から出た光が再帰的に反射し，光 を 1 点 に 集 め る こ と で 実 現 し て い る [ 10 ] ．
ペッパーズゴーストとパリティミラーを利用した空間投影のどちら にも共通する欠点として，見る角度が制限されていることが挙げられる． 今回の試作非接触な空中像に焦点を当てているため 実像での投影が可能なパリティミラーを採用した．

2.2.モー ション センサ によ るイ ンタ ラ ク ショ ン技術イ ン タ ラ ク シ ョ ン 技 術 で は ，赤 外 線 LED に 照 ら さ れた手や指を 2 基の赤外線カメラで撮影し，画像の解析に よ り 3D 空 間 で の 手 や 指 の 位 置 を 割 り 出 す 仕 組 み をす る こ と が で き る「 Leap Motion」 [ 3] と い う モ ー シ ョ ン
セ ン サ と ，C#な ど の プ ロ グ ラ ム 言 語 を 用 い た プ ロ グ ラ
ミ ン グ で コ ン テ ン ツ を 作 成 す る こ と が 可 能 な 「 Unity」[ 11 ] と い う ゲ ー ム エ ン ジ ン を 利 用 し た ．

ま ず 初 め に ，「 Leap Motion」 の 赤 外 線 に よ り 手 の 動き を 検 知 す る ． こ の 際 ，「 Leap Motion」 が 検 知 可 能 な
範 囲 が 決 め ら れ て お り ， 半 径 50 セ ン チ ， 中 心 角 110度の空間でなければ検出できない．そのため，その範囲で手や指の動きを検知した．
図 4： 実 験 に 使 用 し た 装 置

次 に そ の 検 知 し た 手 や 指 の 動 き を「 Unity 」で 作 成 した シ ス テ ム に 反 映 さ せ る ． 初 め は 「 Unity 」 と 「 LeapMotion 」は 別 々 の も の で あ る た め ，「 Leap 」か ら 提 供 さ

図 4 は今回の実験で使用した空中映像装置のプロト

れ て い る 「 Orion 」 [ 12] と い う ラ イ ブ ラ リ を 利 用 し ，

タ イ プ で あ る ． パ リ テ ィ ミ ラ ー は 30cm 角 の も の を 使「 Unity 」 と 「 Leap Motion 」 を 同 期 さ せ る 作 業 を 行 っ用した．モニターに表示される映像をパリティミラー

た ． 次 に 「 Unity」 の 中 に あ る 「 Core」 と い う 「 Unity」に反射させる装置だが，そのままでは像が 見えづらかの ア セ ッ ト を 利 用 す る ．「 Core」 に よ っ て 「 Unity 」 上ったので視認性を上げるために黒い板で外からの光をに「 Leap Motion」で 検 出 し た 手 や 指 を 表 示 さ せ て 動 か遮断している．

すことや，オブジェクトを指で押すといった物理表現ができるようになる．そして，物理表現ができるようになったため，表示している物体に物理演算を利用して ，物 体 に 触 れ る よ う に す る ．そ の 結 果「 Leap Motion」
で 検 出 し た 手 や 指 を 操 作 す る こ と に よ っ て ，「 Unity」
内のシステムで触れるように変更し，あたかも自分の手で操作しているようかのように見せることによって，インタラクション技術を作成する．

3.実験
図 5： 実 験 で 使 用 し た シ ス テ ム

ここからは実際におこなった実験について述べていく．

本研究は枚方市と枚方市内の大学が連携して行って い る Hirathon プ ロ ジ ェ ク ト [ 13 ] の「 市 立 枚 方 宿 鍵 屋 資
料 館 [ 14 ] の 来 館 者 数 増 加 を 目 指 し て 」と い う 課 題 に 対 して行ったものである．この非接触インタラクション展
示システムは元々，鍵屋資料館の目玉展示である「く3画像電子学会第3回デジタルミュージアム・人文学（DMH）研究会

ら わ ん か 舟 」 の 3D モ デ ル を 空 中 投 影 し ， 手 で 自 由 に差を大きくすることでより物体が浮かんでいる感覚が動かせるようにすること を想定して作成していた．

得られた．

図 5 は今回の実験で使用したシステムの様子である．
空間に白いキューブを配置し，それぞれの 面から伸び5.むす びるハンドルを手で掴むことで キューブ全体が移動する

本稿ではパリティミラーによる空中映像投影の技というものである．システム内の手のモデルがセンサ術とモーションセンサによって手の動作を検出す る技の検知した動きに対応して動く． 空中映像が半透明で術を組み合わせることで非接触でありながらインタラあるため，より自然に背景と馴染ませるためにシステクティブに操作できる展示手法を提案した．

ムの背景も暗い色にした．

現段階では肉眼での鑑賞による視点の位置調整や，像を手で操作するときの没入感などの問題が挙げられるが，この手法を拡張することで，他人との接触を気にすることなく触れて学べる新しい資料展示の形となっていくことが期待できる．

6.謝辞
アドバイスをいただいたステークホルダーである
市立枚方宿鍵屋資料館さまに感謝いたします．

文

図 6： キ ュ ー ブ を 移 動 さ せ る 様 子
図 6 は実際に実験を行っている様子である．被験者
手の動きに応じてシス テム内の手のモデルが動き，キューブを移動させている．

4.評価
既存の展示技術では空中映像はタッチパネル代わりに使用される例などはあったが本研究では展示そのものに使用する手法を提案した．
Leap Motion の イ ン タ ラ ク シ ョ ン 技 術 は 実 際 に 物 体を動かしている様な感覚を得ることができた．しかし観測者の視点から見た現実とシステム内の手の位置を一致させることが難しいため ，システム内の手を遠隔操作している様な感覚があった．今後はより実際に物体に触れている感覚を高める工夫として 手のモデルが表示されなくとも違和感なく操作できる手法も検討する．
またパリティミラーは性質上，製造にレンズ並みの精 度 が 求 め ら れ る た め 大 型 化 が 困 難 [ 15 ] で あ り ，表 示 するコンテンツのサイズに制約がある．
パリティミラーによる空間投影はモニターの画面をそのまま半透明の状態で浮かべて見えるようにする効果がある．そのため条件によっては暗い箱の中にモニター画面が浮かんでいるだけのように見えてしまう．
今回の実験では，システムの背景と光を遮断する板の色を近づけることで画面の境界をより自然に感じられるようにし，オブジェクトとその他の背景の色の明度

4

献[1] 文 化 庁 ：“ わ た し た ち の 直 接 鑑 賞 行 動 と コ ロ ナ 禍の 影 響 ”， 2022．
https://www.bunka.go.jp/prmagazine/rensai/news/news_008.html (2022 年 2 月 24 日 ア ク セ ス )[2] Evort ： 映 像 が 空 中 に 浮 き 上 が る 鏡 「 パ リ テ ィ ミラ ー ®」．
https://evort.jp/store/piq/product/paritymirror(2022 年 2 月 24 日 ア ク セ ス )[3] ultraleap：“ Leap Motion Controller”， 2020．
https://www.ultraleap.com/product/leap -motion-controller/ (2022 年 2 月 24 日 ア ク セ ス )[4] 竹 内 晃 平 ，林 正 樹 ，Steven Bachelder，平 山 亮：
“仮想 美 術 館 に 今 後 求 め ら れ る 機 能 と そ の 評 価 ”， 画像 電 子 学 会 第 1 回 デ ジ タ ル ミ ュ ー ジ ア ム・人 文 学(DMH)研 究 会 ， pp.26-33， 2021．
[5] 林 正 樹 ， 小 林 康 雄 ， 佐 藤 仁 ：“ 八 景 デ ジ タ ル ア ート キ ュ ー ブ ”， 画 像 電 子 学 会 第 1 回 デ ジ タ ル ミ ュー ジ ア ム・人 文 学 (DMH)研 究 会 ，pp.40-44，2021．
[6] 富 士 経 済 グ ル ー プ ：“ 空 中 表 示 技 術 と 構 成 部 材 市
場 の 将 来 展 望 ”， 富 士 経 済 ， 2017．
[7] 鈴 木 卓 司 ：“ 非 接 触 型 め く り 展 示 解 説 「 さ わ ら ずめ く り 」 の 製 作 と 企 画 展 示 へ の 応 用 ”， 画 像 電 子学 会 第 1 回 デ ジ タ ル ミ ュ ー ジ ア ム ・ 人 文 学 (DMH)
研 究 会 ， pp.34-39， 2021．
[8] 水 流 添 弘 人 ， 重 野 寛 ， 岡 田 謙 一 ：“ ペ ッ パ ー ズ ゴー ス ト を 用 い た MR 組 立 作 業 支 援 シ ス テ ム ”， 情報 処 理 学 会 論 文 誌 ，vol.59，no.1，pp61-68，2018．
[9] 大 阪 城 天 守 閣 ：“ 展 示 情 報 ”．
https://www.osakacastle.net/exhibition (2022 年 2 月
24 日 ア ク セ ス )[10] 古 寺 博：
“実在するかのように物が空中に浮かぶ 3次元空中映像 ～ナノテクノロジーで作られた独創的光学素子によるインタラクティブな空中映 像 ～ ”， NanotechJapan Bulletin， 2014．
https://www.nanonet.go.jp/magazine/feature/10 -9-innovation/23.html (2022 年 2 月 24 日 ア ク セ ス )画像電子学会第3回デジタルミュージアム・人文学（DMH）研究会[11] Unity：“ Unity”．
https://unity.com/ja (2022 年 2 月 24 日 ア ク セ ス )[12] ultraleap：“ Orion library”．
https://developer.leapmotion.com/orion (2022 年 2 月24 日 ア ク セ ス )[13] 大 阪 工 業 大 学 ：“「 Hirathon （ ヒ ラ ソ ン ） 2021 」 のア イ デ ア ソ ン コ ン テ ス ト を オ ン ラ イ ン で 開 催 ”，
2021．
https://www.oit.ac.jp/japanese/topics/?i=7840 (2022年 2 月 24 日 ア ク セ ス )[14] 鍵 屋 資 料 館 ：“ NPO 法 人 枚 方 文 化 観 光 協 会 ・ 指 定
管 理 市 立 枚 方 宿 鍵 屋 資 料 館 ”．
https://kagiya.hirakata-kanko.org/ (2022 年 2 月 24日アクセス)[15] 葭 本 隆 太 ：“ 何 も な い 空 中 に 触 れ る 映 像 が 浮 か ぶ… 実 用 化 近 づ く 「 鏡 」 の 仕 組 み ”， ニ ュ ー ス イ ッ
チ ， 2019．
https://newswitch.jp/p/20409 (2022 年 2 月 24 日 ア クセス)

5