情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B01
2021/3/10

PicPop：空中像を用いた飛び出す絵本の提案
星 彩水1

木内 舜司1

小泉 直也1,a)

概要：飛び出す絵本とは，ページをめくるとイラストが飛び出してくるような表現を用いている絵本のことである．一般に幾何学的に折り畳まれた紙をページの間に挟み固定することで飛び出す仕掛けになっている．しかし，作成には用紙の加工などの技術が必要であり，一から設計するには難しい．そこで，反射特性のある紙を用いることで絵本自体を空中像の表示面とした，平面の絵本からイラストを飛び出させるシステム PicPop を提案する．

1. はじめに飛び出す絵本はイラストが絵本から立体的に出現することで，ユーザーに対して驚きと登場物とのインタラクションを提供する．これまで，絵本・図鑑にデジタル情報を付与することによる飛び出し絵本のインタラクションシステ
ムがいくつか提案されている．飛び出す絵本にプロジェク
ターを用いて映像を投影するもの [1], [2] や，ヘッドマウン
トディスプレイ (HMD) を使用するもの [3] がある．しかし，絵本に立体構造を組み込むことは難しく，技術を必要とする．また，特殊な装置を装着する体験は体験者を一人に限定してしまう．
実空間上で映像が飛び出す表現を実現する方法として空中像がある．空中像では観察者が HMD などの特殊な装置を身に着ける必要やプロジェクターで実物体に映像を投影することなく，裸眼で観察できる．
本研究では，背景を光沢面とした環境反射型空中像を絵本に対して応用した．光学素子をのぞき込んで観察する空中像は観察可能な範囲が小さく，装置の存在が大きく認識されてしまう．対して光沢面に一回多く反射させて結像させる環境反射型空中像は，直接装置を覗き込まずに反射面が背景となる．そのため，装置を背景とする光学系よりも装置の存在が薄くなり，空中像が観察されることに意外性を持たせ，驚きを提供できると考えられる．
我々は，図 1 に示す環境反射型空中像を用いて絵本のキャラクターを飛び出させるシステム PicPop を提案する．
空中像を利用するため，絵本作成者は絵本と動画像を組み合わせた表現を作成することがでる．また，体験者はHMD などの特殊な装置の着用なしに飛び出す絵本を体験
1a)

電気通信大学
koizumi.naoya@uec.ac.jp© 2021 Information Processing Society of Japan

図 1

PicPop：空中像を表示した様子できる．反射特性のある紙を空中像表示面に利用することで従来の空中像光学系と同様に空中像を表示させるとともに，絵本に使用される自由度の高い背景を扱うことが可能になる．また，装置の設計を調整することで装置の小型化を実現した．

PicPop は従来の飛び出す絵本と異なり，ユーザーがHMD などを装着せずとも，絵本の背景しかない場所に突然映像を表示することができる．現れるはずのない場所に空中像が現れ動くという仕掛けで，意外性のある体験を提供したいと考えて制作した．

2. 関連研究2.1 絵本を用いたインタラクション
プロジェクターを用いて絵本を拡張するシステムとして

The Icebook[1] や黒崎らのシステム [2] が挙げられる．どちらも仕掛け絵本にプロジェクターから映像を投影させることで場面を変化させている．また，図鑑やストーリーの内容に合った 3D モデルを表示する vivid encyclopedia[3]や The MagicBook[4] がある．HMD などの特殊な装置の装着によって実現しており，実際に手元に動物が現れたような体験が可能である．

189

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B01
2021/3/10

イラストが飛び出す構造を物理的に作成することは難しく，また，特殊な装置を必要とする体験は，体験者の人数を絞ってしまう．そこで，高い設計技術や特殊な装置を必要としない飛び出す絵本を目指し，本システムでは空中像を用いる．

2.2 環境反射型空中像光学系
空中像を容易に表示することができる光学素子が市販されており，それを用いたインタラクションの設計が試みられている．Kinect のような RGB-D カメラを用いるものと

図 2

PicPop 設計図

して，Kim らの MARIO[5] があげられる．これは空中像インタラクション空間に置かれている実物体の最高点をKinect で計測し，そこに空中像のキャラクタが飛んでいルムによって MMAPs を通して透過した光を除去した．まくシンプルなインタラクションであり，日本科学未来館でた，ディスプレイ前の視野制御フィルムによって MMAPsの長期展示を成功させている．Takazaki らは Kinect 及びに直接入射する光を除去した．

Leap Motion を用いて，手の動きをトラッキングしながらPicPop のシステム設計を図 2 に示す．机上に装置と絵空中像とのインタラクションとのを実現しつつ，手による本を置くことで実現する仕組みとするため，PortOn の設遮蔽部分をプロジェクションによって視覚的な補完を実現計をもとにシステムを設計した．ただし，PortOn では空している [6]．しかし，手をトラッキングする技術を組み中像を表示する位置を光学素子から離そうとすると装置合わせる場合，そのセンサの操作に対する慣れを必要とすの奥行きを同じ分だけ長くしなければならない問題がある．そこで，ジェスチャー入力ではなく MARIO のようにり，机上に装置と本を置くのが困難になってしまう．そこ物理的実体を動かすことで，空中像の操作につなげるインで装置内の鏡を傾け，空中像の表示される位置は変えない

タラクションデザインを採用した．

ようにディスプレイの位置を調整することで，装置の奥行

空中像光学系には様々な種類があるが，本システムではきを短くした．空中像と MMAPs 間の距離が 200 mm 時

環境反射型の空中像を採用している．このような空中像をの鏡の傾きと PortOn に対する PicPop の装置体積 V の割表示する研究として EnchanTable[7] や PortOn[8] が挙げ

合は下式 (1) から計算できる．ディスプレイ上部，下部そられる．EnchanTable は既存のテーブルにも適用できる空れぞれにおいて (MMAPs からの距離，装置下部からの距中像装置である．しかし，表示面下部にディスプレイを配離)=(A,B)，(C,D) とした．この計算式を元にプロットし置する必要があり，装置が大きくなってしまう問題があったものを図 3 に示す．今回は鏡を 20◦ に傾けて実装したた

た．PortOn は装置内に鏡を用いることでディスプレイをめ，PortOn と比較して体積が約 80%になっていることが表示面上部に配置してこの問題を解決し，可搬型空中像装わかる．

置を実現している．
本稿で提案するシステムは，テーブルの上に置いて体験するインタラクションであり，装置前に絵本を置くスペースが必要であるため，装置の奥行きをさらに短くしたいと考えた．そこで，Osato らの研究 [9] を参照し装置内の鏡を傾け，同時にディスプレイ位置を調整することで，空中像を表示する位置は変えずに装置の小型化を実現した．

3. PicPop
3.1 システム設計

A = xd cos2θ
xd Hm
B =Hm + xd tanθC = −hsin2θ + xd cos2θ
D = hcos2θ + xd sin2θ
PicPop 体積割合 = ( D と Hm の小さい方)
A と B の小さい方×
Hm × x d(1)

空中像の表示には 2 層構造を持った再帰透過光学素子で環境反射型空中像を表示するために表示面には反射特性ある ASKA3D プレートを用いた．再帰透過光学素子は直が必要である．絵本に用いる紙を選択するため，空中像を交したミラーアレイに光が入射し各層奇数回反射すること市販の光沢紙面上に表示し，空中像の見え方を観察した．

で，光学素子と面対称の位置に空中像を表示することがで

図 4 のような結果から，各用紙における空中像の明るさと，きる．以下 Micro Mirror Array Plates(MMAPs) とする．

図形の輪郭を調査した．その結果，キヤノン写真用紙・光空中像の視認性を悪化させる不要な光を除去するために

沢プロ PT-201A420 が最も明るくはっきり像が見えたた

視野制御フィルムを利用した．MMAPs 前の視野制御フィ© 2021 Information Processing Society of Japanめ，これを利用した．

190

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B01
2021/3/10

図 5 センサーによる場面転換
図 3 空中像-MMAPs 間距離 200mm の装置体積

図 6 実験条件 (PortOn)

図 4 表示面比較

3.2 センサーによる場面転換
黒崎らの研究 [10] を参考に図 5 のようにセンサーを利用しページがめくられたかどうかを判断し，場面転換を行っ

図 7 実験条件 (PicPop)

た．センサーにはフォトリフレクタ LBR-127HLD を使用した．フォトリフレクタの設置次のページが被さったことを行った．各角度で 5 回ずつ計測し，平均値をその角度でを ESP で判断し，Processing とシリアル通信することでの輝度とした．

次の場面を表示した．

4. 評価実験
PortOn と PicPop で表示される空中像の輝度をそれぞれ計測し比較した．

視野制御フィルムとしては，信越ポリマー社の View

Control Film(VCF) を使用した．最大透過角度が 25◦ で，透過角度が 48◦ と 60◦ のものを使用した．PortOn では

MMAPs の前にのみ配置し，PicPop では MMAPs とディスプレイそれぞれに対して使用した．以下では PicPop での組み合わせに関しては，MMAPs の手前に配置した VCF

4.1 方法図 6 と図 7 のように装置・輝度計を配置して各装置における空中像の輝度を測定した．MMAPs から 200mm 手前の透過角度を θM M AP s ，ディスプレイ手前に配置したものの透過角度を θdisplay として，(θM M AP s ,θdisplay ) と表記する．に空中像を表示し，中心に輝度計を向けた．空中像と輝度計は 1000mm 離し，ϕ を 20◦ –40◦ で変えながら計測した．
光沢面はアクリルミラーを使用し，部屋は暗い状態で実験© 2021 Information Processing Society of Japan

4.2 結果実験の結果を図 8 に示す．縦軸は MMAPs 前視野制御191

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B01
2021/3/10

30◦ の傾きで観察するとき，PicPop の輝度が最大で 26%程度，PortOn より高いことがわかった．
紙に印刷するイラストの色味や紙の歪みが空中像の表示に影響することがわかった．今後の展望として空中像を観察しやすい色味の調査，空中像の歪み抑制のための調査が挙げられる．また，それらを踏まえた絵本の作成を目指す．
謝辞 本研究は JSPS 科研費 JP20H04223 の助成を受けたものです．
参考文献
図 8 PortOn と PicPop の輝度比較

[1]
[2]

[3]

図 9[4]

絵本上の空中像を左右から見た様子

フィルムが同じ PortOn に対する PicPop の輝度比率，横[5]◦軸が空中像を観察する角度になっている．角度が 30 のとき PortOn に比べ輝度が 120%程度に上昇している．
[6]

4.3 考察実験結果より，角度によっては偏光板の輝度減少を削減できることが確認された．特に角度 30◦ のとき最大で126%まで輝度が改善されることがわかった．角度が 20◦ ，[7]

40◦ の際は，ディスプレイ前視野制御フィルムの特性により，その方向の光の輝度が大幅に減衰するため，PortOnよりも輝度が落ちてしまうと考えられる．

[8]

5. 制作例
PicPop を用いてシンデレラの飛び出す絵本を作成した．

[9]

図 9 に制作例を示す．用紙にイラストを印刷して空中像を表示する場合，各色の反射特性に大きく影響を受ける．背景によってはぼやけてしまうことが確認されたため，今回はキャラクターの表示にシルエットを使用した．

[10]

Davy and Kristin McGuire. The icebook. http://www.
theicebook.com/The_Icebook.html, 2009.
黒崎美聡, 須田拓也, 串山久美子. 実物体の本の特性を活かしたインタラクティブな絵本による読書体験の提案. インタラクション 2019, pp. 678–679, 2019.
柴田史久, 吉田友佑, 古野光紀, 酒井理生, 木口健治, 木村朝子, 田村秀行. Vivid Encyclopedia ―MR 昆虫図鑑―.
日 本バーチャルリアリティ学会第 9 回大会論文集, pp.
611–679, 9 2004.
Mark Billinghurst, Hirokazu Kato, and Ivan Poupyrev.
The MagicBook: A transitional AR interface. Computers Graphics, Vol. 25, pp. 745–753, 10 2001.
Hanyuool Kim, Issei Takahashi, Hiroki Yamamoto,Satoshi Maekawa, and Takeshi Naemura. Mario: Midair augmented reality interaction with objects. Entertainment Computing, Vol. 5, No. 4, pp. 233 – 241, 2014.
Mayumi Takazaki and Shinji Mizuno. A method for appropriate occlusion between a mid-air 3dcg object and ahand by projecting an image on the hand. In ACM SIGGRAPH 2020 Emerging Technologies, SIGGRAPH ’20,New York, NY, USA, 2020. Association for Computing
Machinery.
山本紘暉, 梶田創, 小泉直也, 苗村健. Enchantable: テー
ブル面の反射を用いた直立空中像ディスプレイ. 日本バー
チャルリアリティ学会論文誌, Vol. 21, No. 3, pp. 401–410,
2016.
Naoya Koizumi and Ayaka Sano. Optical system to display mid-air images on a glossy plane and remove groundimages. Opt. Express, Vol. 28, No. 18, pp. 26750–26763,
Aug 2020.
Yui Osato and Naoya Koizumi. Compact optical system
displaying mid-air images movable in depth by rotating
light source and mirror. Computers Graphics, Vol. 91,
pp. 290–300, 2020.
黒崎美聡, 串山久美子. 紙を使用した仕掛け絵本の体験行
動とインタラクティブデザイン手法についての考察. イン
タラクション 2018, pp. 349–352, 2018.

6. むすび
本稿では，飛び出す絵本のような表現を，空中像を用いることで簡単に作成し体験できるインタラクションシス
テム PicPop を提案した．装置内の鏡の傾きを調整することで小型化を実現し，絵本とともにテーブル上に置くことを容易にした．反射特性を持った紙を絵本に使用することで，紙ならではの扱いやすさを保ちながら，絵本上への空中像の表示を実現した．

PortOn と PicPop の輝度比較実験を行い，角度によって輝度を大幅に改善できることを確認した．特に空中像を© 2021 Information Processing Society of Japan

192