情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2D-63
2019/3/6

実物体の本の特性を活かしたインタラクティブな絵本による読書体験の提案

黒崎美聡†1須田拓也†1

串山久美子†1

概要：読書体験において，紙の本では「ページをめくる」といった物理的な行為が伴い，電子書籍ではアニメーションやインタラクションなど動的な表現が可能である．この差に着目し，著者らはインタラクティブな絵本の制作を行ってきた．本論文では，それらの展示時に体験者の行動から得られた改善点に加えて，仕掛け絵本と体験者の行為の関係性に着眼しインターフェースとしての本が持つ特性ついて考察を行い，体験者に電子的な仕掛けを感じさせないインタラクティブな読書体験の提案を行なった．

1. はじめに
読書体験において，紙の本では「ページをめくる」といった物理的な行為が伴い，電子書籍ではリンクやアニメーションなど動的な機能を持つことが可能で，媒体によって大きな差がある．この点に着目し，著者らはこれまで，絵絵本の電子書籍化作品としては，毎年開催されている「デジタルえほんアワード」[4]において多くの作品が応募されており，読み手の行動がストーリー進行に関わるというゲーム性を含んだ表現が多く見られる．

3. 本の特性についての考察

本の世界の拡張を目的とした，インタラクティブな絵本の本はページをめくって楽しむものであるが，この「めく制作を行ってきた．前作は，飛び出す仕掛けのある絵本にる」という行為は本の内容によって様々な意味を持つ．例

センサなどの電子回路を内蔵しており，絵本と接続したコ

えば，小説などの時系列の沿ったストーリーを伝える本でンピュータで各ページの開閉判定を行い，プロジェクタかは，ページをめくることは時間を進めることであり，地図ら絵本に映像を投影する立体視仕掛け絵本であった[1]．

帳や風景の写真集などにおいては，ページをめくることは作品展示を通して行った体験者の観察からは，触れる素空間の移動を表すことになる．このように，本はページと材が紙であったことが体験に大きな影響を与えているこという仕組みによって，読み手が時間や空間を操作することが予想されたことから，没入感のあるインタラクティブなが可能であるため，空間把握や時間把握に長けた媒体だと絵本の読書体験を提案するためには，体験者が直接手で触いえる．

れる本自体から電子的な仕掛けをなくし，インタフェース

また，本は，内容とその表現のようなデジタルにも移行としての絵本を設計し，判定と投影の精度を向上させるこ

可能な「情報」と，物理的な構造を持つ実物体の本にのみとが必要であると考えた．

ある操作や質感といった「物質」の，大きく二つの要素で本研究では，まず，紙の本の操作性に着目して，情報を構成されていると捉えた（図 1）．

扱うインタフェースとしての本の特性について考察を行い，それを踏まえて，実物体の本の特性を活かした，体験者に電子的仕掛けの存在を感じさせない，インタラクティブな絵本の読書体験の提案に向けた制作について述べる．

2. 先行研究

図 1

本を構成する二つの要素

プ ロ ジ ェ ク タ と 絵 本 を 組 み 合 わ せ た 作 品 に The
Icebook[2]がある．これはスクリーンとなる白い仕掛け絵本

これらを踏まえて，まず，絵本の物理的な仕掛けやそれに，プロジェクタでモノクロの実写映像を投影した作品で，に対する操作といった「物質」要素に焦点を置いてインタ空間を変化させる表現を可能としている．

ラクションを設計し，そこへ「情報」要素の電子化によっ

また，実物体の本と拡張現実感技術を用いた作品に，て，自由度のある動的なストーリーやリアルタイムに反応

vivid encyclopedia[3]がある．HMD を装着した体験者が，図して変化する表現などを取り入れ，実物体の本の特性を活鑑のページをめくると，手の位置にその昆虫の 3D モデル

かした体験の制作を目指した．

が表示している．この作品は，写真をマーカーにしてページ判定を行なっているため，絵本の視覚的な表現に干渉す

4. システムることがない．

4.1 システム概要
本作品は，紙の仕掛け絵本を体験者が直接触れるインタ†1 首都大学東京 システムデザイン研究科© 2019 Information Processing Society of Japanフェースとして使用する．電子回路などを一切内蔵しない

678

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2D-63
2019/3/6

紙の絵本を使用するため，コンピュータに接続されたカメ像から特徴点を抽出し，学習済みの特徴点とマッチングをラとプロジェクタによって，インタラクションを行う．具行う手法で実装した．任意の絵を判定用パターンにするこ

体的には，体験者が読む絵本の上方に，カメラとプロジェとができ，一部分が隠されていても判定が可能なため，手クタを設置する．コンピュータは，撮影画像から，表紙やで操作する絵本に適している．判定用パターンが意図せずページ上に配置された判定用パターンとなる図柄や，体験隠れることを防ぐためは，図 3 のように，用途に合わせて者の手の位置や動きを検出する．体験者の操作に反応して，配置を検討する必要がある．検出を安定させるため，絵本プロジェクタで映像を仕掛け絵本に重ねて投影し，体験者はグレースケールで作成し，インタラクションを補助するの行為がストーリーに影響する，拡張された絵本世界の体ため手の位置の検出を実装している．図 4 に，判定用パタ験を可能とする．カメラ画像からの輪郭抽出やマーカー検ーンと手の検出と映像投影の様子を示す．

出といった処理には，OpenCV を使用して実装した．
4.2 デスクライト型プロジェクタカメラシステム
絵本を撮影するカメラと映像を投影するプロジェクタを一体化し，デスクライトの光源部分に格納したプロジェク
タカメラシステムを制作した（図 2）．事前に，カメラとプロジェクタの相対的な位置関係のキャリブレーションを行い，絵本に対する映像投影位置の誤差をおさえている．絵本を広げるデスクは光沢のない黒い布で覆い，撮影範囲の背景となることで各種の検出を容易にし，また，余計な情図 3

報を持たないことで体験者は絵本に集中できる．プロジェ

判定パターンの配置位置

クタは，絵本への映像投影を行わないとき，一般的な白色のデスクライトのようにふるまい，システムの存在を感じさせない．デスクライト型にすることで，環境に溶け込み，より体験に没入できる空間を作ることを目指した．

図 4マーカーの検出と手による操作の検出

5. まとめデスクライト型のプロジェクタカメラシステムと，本の図 2

デスクライト型システムの配置図

特性についての考察を基づいた仕掛け絵本の制作を行った．
今回は視覚的な仕掛けを中心に制作したが、音によるフィ4.3 仕掛け絵本ページをめくることが，ストーリーを進める時間操作となる絵本，空間を移動する空間操作となる絵本をそれぞれ制作した．仕掛けは，「開く」「引く」といった実物体の仕掛け絵本によく見られるような物理的な構造による仕掛けと，「触れる」「傾ける」など，ストーリーやイラストによって誘導される，本来センサなどを内蔵した電子端末で多く行われる情報的な仕掛けに分けられる．
本作品では，これらの仕掛けとそれに対する行為をカメラ画像のみから検出する．その多くは絵本の絵の状態からードバックを用いた仕掛けなどの可能性も考えられる。

参考文献
[1]

黒崎美聡.串山久美子. 紙を使用した仕掛け絵本の体験行動とインタラクティブデザイン手法についての考察, インタラクション 2018.
[2] Davy and Kristin McGuire “The Icebook”,
http://www.theicebook.com/The_Icebook.html（参照 2018/12/20）[3] 柴田史久，吉田友佑，古野光紀，酒井理生，木口健治，木村朝子，田村秀行 “Vivid Encyclopedia —MR 昆虫図鑑— ”. 日本バーチャルリアリティ学会第 9 回大会論文集[4] 「デジタルえほんアワード」http://www.digitalehonaward.net(参照 2018/12/20)

判断することができ，例えば「開く」や「触る」などの操作は絵の見え隠れを伴うので，判定用パターンの有無によって検出可能である．判定用パターンの検出は，カメラ画© 2019 Information Processing Society of Japan679