実物体の本の特性を活かしたインタラクティブな絵本による読書体験の提案

黒崎美聡†1

須田拓也†1

串山久美子†1

概要：著者らが以前制作した紙の本と電子書籍での読書体験の差に着目した絵本の展示時の体験者の行動から得られた改善点を踏まえ，本論文では仕掛け絵本と体験者の行為の関係性に着眼し，インターフェースとしての本が持つ特性ついて考察した．その上で，体験者に電子的な仕掛けを感じさせないインタラクティブな読書体験の提案を行なった．

1. はじめに
読書体験において，紙の本では「ページをめくる」といった物理的な行為が伴い，電子書籍ではリンクやアニメーションなど動的な機能を持つことが可能で，媒体によってジタルえほんアワード」[4]において多くの作品が応募されており，読み手の行動がストーリー進行に関わるというゲーム性を含んだ表現が多く見られる．

3. 本の特性についての考察

大きな差がある．この点に着目し，著者らはこれまで，絵本はページをめくって楽しむものであるが，この「めく本の世界の拡張を目的とした，インタラクティブな絵本のる」という行為は本の内容によって様々な意味を持つ．例

制作を行ってきた．前作は，飛び出す仕掛けのある絵本にえば，小説などの時系列の沿ったストーリーを伝える本でセンサなどの電子回路を内蔵しており，絵本と接続したコは，ページをめくることは時間を進めることであり，地図ンピュータで各ページの開閉判定を行い，プロジェクタか帳や風景の写真集などにおいては，ページをめくることはら絵本に映像を投影する立体視仕掛け絵本であった[1]．

空間の移動を表すことになる．このように，本はページと作品展示を通して行った体験者の観察からは，触れる素いう仕組みによって，読み手が時間や空間を操作すること材が紙であったことが体験に大きな影響を与えていることが可能であるため，空間把握や時間把握に長けた媒体だとが予想されたことから，没入感のあるインタラクティブないえる．

絵本の読書体験を提案するためには，体験者が直接手で触また，本は，内容とその表現のようなデジタルにも移行れる本自体から電子的な仕掛けをなくし，インタフェース可能な「情報」と，物理的な構造を持つ実物体の本にのみとしての絵本を設計し，判定と投影の精度を向上させるこある操作や質感といった「物質」の，大きく二つの要素でとが必要であると考えた．

構成されていると捉えた（図 1）．

本研究では，まず，紙の本の操作性に着目して，情報を扱うインタフェースとしての本の特性について考察を行い，それを踏まえて，実物体の本の特性を活かした，体験者に電子的仕掛けの存在を感じさせない，インタラクティブな絵本の読書体験の提案に向けた制作について述べる．

2. 先行研究

図 1

本を構成する二つの要素

プ ロ ジ ェ ク タ と 絵 本 を 組 み 合 わ せ た 作 品 に The

これらを踏まえて，まず，絵本の物理的な仕掛けやそれIcebook[2]がある．これはスクリーンとなる白い仕掛け絵本

に対する操作といった「物質」要素に焦点を置いてインタに，プロジェクタでモノクロの実写映像を投影した作品で，ラクションを設計し，そこへ「情報」要素の電子化によっ空間を変化させる表現を可能としている．て，自由度のある動的なストーリーやリアルタイムに反応

また，実物体の本と拡張現実感技術を用いた作品に，vivid encyclopedia[3]がある．HMD を装着した体験者が，図鑑のページをめくると，手の位置にその昆虫の 3D モデルして変化する表現などを取り入れ，実物体の本の特性を活かした体験の制作を目指した．

が表示している．この作品は，写真をマーカーにしてペー

4. システムジ判定を行なっているため，絵本の視覚的な表現に干渉す

4.1 システム概要

ることがない．
絵本の電子書籍化作品としては，毎年開催されている「デ†1 首都大学東京 システムデザイン研究科

本作品は，紙の仕掛け絵本を体験者が直接触れるインタフェースとして使用する．電子回路などを一切内蔵しない

紙の絵本を使用するため，コンピュータに接続されたカメ作は絵の見え隠れを伴うので，判定用パターンの有無によ

ラとプロジェクタによって，インタラクションを行う．具って検出可能である．判定用パターンの検出は，カメラ画

体的には，体験者が読む絵本の上方に，カメラとプロジェ像から特徴点を抽出し，学習済みの特徴点とマッチングをクタを設置する．コンピュータは，撮影画像から，表紙や行う手法で実装した．任意の絵を判定用パターンにするこ

ページ上に配置された判定用パターンとなる図柄や，体験とができ，一部分が隠されていても判定が可能なため，手者の手の位置や動きを検出する．体験者の操作に反応して，で操作する絵本に適している．判定用パターンが意図せずプロジェクタで映像を仕掛け絵本に重ねて投影し，体験者隠れることを防ぐためは，図 3 のように，用途に合わせての行為がストーリーに影響する，拡張された絵本世界の体配置を検討する必要がある．検出を安定させるため，絵本験を可能とする．カメラ画像からの輪郭抽出やマーカー検はグレースケールで作成し，インタラクションを補助する出といった処理には，OpenCV を使用して実装した．

ため手の位置の検出を実装している．図 4 に，判定用パタ

4.2 デスクライト型プロジェクタカメラシステム

ーンと手の検出と映像投影の様子を示す．

絵本を撮影するカメラと映像を投影するプロジェクタを一体化し，デスクライトの光源部分に格納したプロジェク
タカメラシステムを制作した（図 2）．事前に，カメラとプロジェクタの相対的な位置関係のキャリブレーションを行い，絵本に対する映像投影位置の誤差をおさえている．絵本を広げるデスクは光沢のない黒い布で覆い，撮影範囲の背景となることで各種の検出を容易にし，また，余計な情報を持たないことで体験者は絵本に集中できる．プロジェ
クタは，絵本への映像投影を行わないとき，一般的な白色
図 3のデスクライトのようにふるまい，システムの存在を感じ判定パターンの配置位置させない．デスクライト型にすることで，環境に溶け込み，より体験に没入できる空間を作ることを目指した．

図 4
図 2

デスクライト型システムの配置図

マーカーの検出と手による操作の検出

5. まとめデスクライト型のプロジェクタカメラシステムと，本の4.3 仕掛け絵本

特性についての考察を基づいた仕掛け絵本の制作を行った．

ページをめくることが，ストーリーを進める時間操作と今回は視覚的な仕掛けを中心に制作したが、音によるフィなる絵本，空間を移動する空間操作となる絵本をそれぞれードバックを用いた仕掛けなどの可能性も考えられる。

制作した．仕掛けは，「開く」「引く」といった実物体の仕掛け絵本によく見られるような物理的な構造による仕掛けと，「触れる」「傾ける」など，ストーリーやイラストによって誘導される，本来センサなどを内蔵した電子端末で多く行われる情報的な仕掛けに分けられる．
本作品では，これらの仕掛けとそれに対する行為をカメラ画像のみから検出する．その多くは絵本の絵の状態から判断することができ，例えば「開く」や「触る」などの操参考文献[1]

黒崎美聡.串山久美子. 紙を使用した仕掛け絵本の体験行動とインタラクティブデザイン手法についての考察, インタラクション 2018.
[2] Davy and Kristin McGuire “The Icebook”,
http://www.theicebook.com/The_Icebook.html[3] 柴田史久，吉田友佑，古野光紀，酒井理生，木口健治，木村朝子，田村秀行 “Vivid Encyclopedia —MR 昆虫図鑑— ”. 日
本バーチャルリアリティ学会第 9 回大会論文集[4] 「デジタルえほんアワード」http://www.digitalehonaward.net