WISS 2020

マーカー付きスケッチブックを利用した VR 空間における触れる読書体験
成田 智史 ∗井尻敬∗

概要.
本研究では手触り感があるという紙の本の利点と，コンテンツの動的変更が容易であるというVirtual Reality（VR）技術を組み合わせた読書システムを提案する．ユーザはスタンドアローン型 VR 用
Head Mounted Display を装着し，実世界にあるスケッチブックを手に持ちこれをめくることで VR 空間の書籍を操作できる．スケッチブックには AR マーカが貼り付けられており，提案システムはこのマーカを検出することで VR 空間の書籍の位置やページを更新する．提案システムは VR 空間に書籍を提示するため，コンテンツの動的変更や空間を利用した表現が可能である．具体的には，ユーザは自由に読書環境の選択や文字サイズ・文字色を調整でき，また，コンテンツ制作者は 3 次元モデルや音を活用した表現を行える．
提案システムの有効性を確認するため，活字が主体となる「小説」と画像が主体となる「動物図鑑」という2 種類のコンテンツを制作した．

1

はじめに電子書籍が広く普及した一方で従来の紙の本にも根強い人気が残っている．紙の本では，本を手に持つ，指で紙をめくる，といった手を利用した操作が可能である．しかし，紙の本では，文字サイズや色を変更することはできず，また，多くの本を鞄に入れて持ち運ぶことも難しい．一方，電子書籍には，文字サイズや色を自身の好みに合わせて変えられる，多くのコンテンツを同時に携帯できる，といった拡張性と利便性がある．しかし，書籍を持ち，紙をめくり，指で紙の質感を感じるような紙の本特有の体験は失われる．
より表現能力の高い電子書籍の実現を目指し，Augmented Reality（AR）技術や Virtual Reality（VR）技術を用いた読書体験の拡張に関する研究が広く行われている．例えば，AR 技術を用いることで，挿絵をアニメーションさせる試み [3] や，挿絵を 3 次元化する試み [6] がなされている．また，Billinghurst
et al. は， 紙の本，挿絵の AR 表現，挿絵の VR 表
現をシームレスに切り替えられるシステムを提案した [2]．Gupta et al. は，AR 技術を用いてマーカ付きの紙にデジタルコンテンツを重ね合わせるアルバムを提案した [4]．しかし，これらの既存研究では，主に挿絵の拡張表現に関する議論がなされており，コンテンツの表示方法や読書空間に関する議論はなされていない．また，マーカーを利用する手法[2][4] は，マーカーが書籍自体の魅力を下げるという問題がある．
本研究では，手触り感があるという紙の本の利点と，コンテンツの動的変更が容易であるという
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗芝浦工業大学

図 1. VR 空間における触れる読書体験．HMD を装着したユーザ (a) は，マーカ付きスケッチブック (b)を手に持ち，めくることで VR 空間の書籍 (c) を操作できる．

VR 技術を組み合わせた読書システムを提案する．
提案システムにおいて，ユーザは，Head MountedDisplay（HMD）を装着し，スケッチブックを手に持ち，ページをめくることで，VR 空間内の書籍を操作する（図 1a）．スケッチブックにはマーカーが貼り付けられており（図 1b），システムはウェブカメ
ラを通じてこのマーカーを検出することで，スケッチブックの位置とページを認識し，VR 空間に書籍を提示する（図 1c）．提案システムでは，紙のスケッチブックを利用して VR 空間の書籍を操作できるため，手触り感を保ったインタラクションが可能である．また，HMD を装着したユーザからはマーカーが視認できないため，マーカーによって書籍の魅力が下がる問題は起こらない．
提案システムでは，VR 空間に Computer Graph-

WISS 2020

ics（CG）を用いて書籍を提示するため，AR 技術を用いた既存手法に比べて，より柔軟な表現が可能である．本研究では，操作性，コンテンツ消費，コンテンツ制作という観点に着目し，VR 環境における読書システムの設計指針を立てる．さらに，この指針に沿って小説と 3 次元動物図鑑という二つのコンテンツを含むプロトタイプシステムを制作した．
小説の例では，ユーザは自分好みに文字のサイズと紙の色を変更することが可能である．また， 3 次元動物図鑑の例では，動物のアニメーション付き 3 次
元 CG モデルが VR 空間内に配置され，ユーザはその動物の動きや鳴き声を観察しながら解説を読むことが可能である．

22.1

VR 技術を用いた読書体験システム
設計指針

本研究では，手触り感があるという紙の本の利点と，コンテンツの動的変更が容易であるという VR技術を組み合わせた読書システムを提案する．我々は，操作性，コンテンツ消費，コンテンツ制作という観点から，VR 空間における読書体験をデザインする際に必要な指針を以下の通り立てる．

紙，表紙裏，各ページに異なる ArUco マーカーが貼り付けられている．常に背表紙のマーカーが見えるよう，各ページの角はカットされている (図 2)．また，ウェブカメラはスケッチブック全体が映る位置で机に固定されている．HMD とウェブカメラの相対位置関係は，システムの起動後にコントローラを使用して手作業で設定する．
ウェブカメラから得られた動画像に対し計算機上でマーカー検出を行うことで，スケッチブックの位置とページ情報を取得する．マーカー検出には，OpenCV の ArUco ライブラリを利用する．このスケッチブックの情報は Wi-Fi 経由で HMD へ転送される．提案システムは，転送されたスケッチブックの情報を利用して VR 空間に書籍を配置し，VR シーンを HMD 上に提示する．このシステムによりユー
ザは，スケッチブックを手に持ちページをめくることで，VR 空間の書籍を操作できる．また，HMD付属のコントローラを使用し，読書環境の切り替えや文字サイズ・色の変更を行える．

• ユーザは紙に触りながら書籍を操作できる• ユーザは読書環境を自由に調整できる• 制作者は VR 空間を利用した表現を行える
1 つ目について，紙の本では，本を手に持つ/指で紙をめくるといった，手を利用した操作が可能である．VR 空間でも紙の質感を感じながら手を利用した操作を提供できれば，紙の本に似た感覚で読書を体験できると考えられる．
2 つ目について，読書空間や文字の見た目を変更できれば，ユーザは自分の好きな環境で読書を行える．例えば，読書空間をカフェやビーチに変えることや，環境音や音楽の有無を変更することで，自分好みに読書空間を調整できる．また，文字サイズや背景色を変更できれば，自分がより読みやすい表示方法で読書を行える．
3 つ目について，VR の利点を活用し，書籍制作の際に VR 空間を利用できれば，2 次元のページに縛られない多様なコンテンツ表現が可能になる．例
えば，小説の場面に合わせて環境音や照明を変化させる，絵本に登場する場面を VR 空間に再現する，教科書の 3 次元図形を 3 次元 CG として提示することなどが可能となる．
2.2

システム構成提案システムは，マーカーが貼付けられたスケッチブック，ウェブカメラ，計算機，スタンドアロー
ン型 VR 用 HMD（Oculus Quest）より構成される．ユーザが操作に用いるスケッチブックには，表

図 2. 書籍操作用のスケッチブック．常に表紙裏のマーカーがカメラに映るように各ページはカットされている．

3

読書体験アプリケーション

提案システムの有用性を確認するため，本研究では「小説」と「3 次元動物図鑑」という 2 種類のコンテンツ制作を行った．1 つ目の小説は，活字を主体としたものであり，多く消費されている書籍形式であるため今回選択した．この例では，ユーザは，「蜘蛛の糸」[1] と「注文の多い料理店」[5] を読むことができ，また，読書する空間や文字の表示方法を自由に切り替えられる．図 3a-b に文字の大きさや背景色を変更した例を，図 3c-d に読書空間の机の上の物の位置を変更した例を，図 3e-f に読書空間を図書館やビーチに変更した例を示す．このように VR技術を活用することで，ユーザが読書環境を好みのものに調整することが可能になる．

マーカー付きスケッチブックを利用した VR 空間における触れる読書体験

2 つ目の例は，3 次元動物図鑑である（図 4）．これは，小説とは対照的に画像を主とするコンテンツであるため今回選択した．この 3 次元動物図鑑では，ページごとに一種類の動物が割り当てられており，ユーザがページを開くと，そのページに対応付けられた動物の 3 次元モデルが表示されその動物の鳴き声が再生される．書籍上には Wikipedia の解説が提示され，3 次元モデルを観察しながら解説を読むことができる．このように VR 空間を活用することで，読書環境をカスタマイズするだけでなく，空間を利用した新たな表現も可能になる．

4

まとめ本研究では，マーカー付きスケッチブックを利用することで VR 空間において紙の本に触りながら読書体験を行えるシステムを提案した．提案システムの有用性を確認するため，小説と 3 次元動物図鑑を例にとり，コンテンツを作成した．提案システムには，実際に手で紙に触りながらページ操作を行えるという紙の本の利点を保ったまま，読書環境の調整や空間を利用したコンテンツを提供できるという利点がある．
現在の実装には，VR 空間内の本の紙が平面的で，現実世界の紙の曲がり具合を表現できていないという課題がある．また，システム起動のたびにカメラ位置のキャリブレーションを行う必要があるのも課題のひとつである．今後，これらの課題を解決するとともに，提案法の有効性と可能性について検証するため，ユーザスタディを実施する予定である．

参考文献[1] 芥川龍之介. 蜘蛛の糸. 青空文庫, 1918.
[2] M. Billinghurst, H. Kato, and I. Poupyrev.
The magicbook-moving seamlessly between reality and virtuality. IEEE Computer Graphics andapplications, 21(3):6–8, 2001.
[3] S. Cameiile, P. Julien, F. Padcal, and L. Vincent.
The haunted book. the 7th IEEE and ACM International Symposium on Mixed and AugmentedReality, pp. 163–164, 2008.
[4] A. Gupta, B. R. Lin, S. Ji, A. Patel, and D. Vogel.
Replicate and Reuse: Tangible Interaction Designfor Digitally-Augmented Physical Media Objects.
In Proceedings of the 2020 CHI Conference on
Human Factors in Computing Systems, pp. 1–12,2020.
[5] 宮沢賢治. 注文の多い料理店. 青空文庫, 1924.
図 3. 小説の例．ユーザは，ページの色やフォントサイズの変更 (a, b)，机の上の小物の移動 (c, d)，読書する場所の移動 (e, f ) を行える．

図 4. 3 次元動物図鑑の例．ユーザは，3 次元モデルを観察しながら解説を読むことができる．

[6] N. Taketa, K. Hayashi, H. Kato, and S. Noshida.
Virtual pop-up book based on augmented reality.
In Symposium on Human Interface and the Management of Information, pp. 475–484. Springer,
2007.