LayeredVision：印刷物とデジタル情報を結ぶディスプレイ
上田哲也†

花井綾子†

LayeredVision は展示会などで配布されるパンフレットを活用して，デジタル情報にアクセスできるインフォメーションシステムである．パンフレットを LayeredVision のスリットに差し込むと，ディスプレイ上に差し込んだパンフレットの画像が表示される．利用者から見ると，ディスプレイ上の画像は差し込んだパンフレットと同じ位置に表示される．ユーザはディスプレイ上の画像にタッチすることで，付加情報にアクセスできる．例えば，文字部分の他言語切替えや画像部分の動画再生，あるいは，お気に入りの画像部分を保存するなどの機能が，簡単に行える．LayeredVision の実
現方法とその機能に関して説明する．

LayeredVision：The display which links the printed matterto the digital information
TETSUYA UEDA†

AYAKO HANAI†"LayeredVision" is an information system that can access digital information by using the brochure
distributed in the exhibition. When user inserts brochure in the slit of "LayeredVision", the digital image of thebrochure is displayed on LayeredVision’s Display. The digital image is displayed at the same position as theinserted brochure. User can access additive information by touching the image of the display. For instance,
User can get the other language in the character part, the animation in the image part, and the function of thepreservation of a favorite image part by an easy operation. In this paper, we present the method of achieving"LayeredVision" and the function.

1.

はじめに状態を認識するカメラが設置されており，印刷物の上，あるいはその周辺に付加情報を投影する．また，利用近年，様々な AR 技術が開発されており，実空間上者が印刷物に空いた穴を指で塞ぐことで，意図した情の物体にデジタル情報を付加することが可能になって報にアクセスできるといった機能が実装されている．

いる．AR 技術のひとつの手法として，物体をカメラ

しかしながら，印刷物上に情報投影するため，白紙にで撮像し，ディスプレイ上に撮影した物体の映像とコ近い状況でしか紙面を構成することができないため，ンピュータによって作り出された付加情報を重畳表示印刷物として本来持っている情報提示能力に欠ける．

するものがある 1)．この方法では実空間上の物体と今回，我々は，利用者の負荷を軽減し操作性を維持

ディスプレイが離れた位置関係にあるため，利用者はしながら，印刷物本来の情報伝達性を保持しつつ，直両者を同時に見ることができず，視線を固定できない．

感的に付加情報にアクセスできる重畳表示システム

利用者の視線を撮像するカメラを付加した HMD"LayeredVision"を提案する．

(Head Mounted Display)を利用して，映像に情報を付加表示するシステムも提案されている 2)．この手法
は，物体と付加情報が同じ視線上で表示されるため，2.

LayeredVision情報の関連性は理解しやすい．一方で HMD を装着

LayeredVision は ， 印 刷 物 で は 表 現 で き な い 情 報する負荷や，HMD のディスプレイの画質が悪いとい（映像や更新性の高い情報）を，実空間上の印刷物にった課題も残る．また，現状では実稼動コストも高い．

極めて近い知覚状態で重畳表示するシステムである

印刷物を専用のテーブル上に置くことでこれを認識（図 1 ）．印刷物を LayeredVision のスリットに差しし，上部のプロジェクタから付加情報を投影するシス込むことで，スリット上部のディスプレイにその印刷テムが提案されている 3)．上部には印刷物の位置や物と同一の情報が，同じ大きさ・同じ位置で表示され† 大日本印刷株式会社
Dai Nippon Printing Co., Ltd.

る（図 2 ）
．その結果，利用者は差し込んだ印刷物があたかも透けて見えているかのような錯覚を得る．

情報処理学会 インタラクション 2011

また，ディスプレイには実際の印刷物には含まれない保存したい部分に触れる情報を付加的に表示することで，利用者は直感的に印刷物に含まれる情報の補足・関連情報であることが理解できる．
LayeredVision は様々な情報提供機能を有する．たとえば，テキスト情報を印刷物に印字された言語とは異なる言語に切り替える機能や，印刷物では画像化されている部分を動画表示する機能など，印刷情報では印刷物を引き抜くと画像だけが残る得られない情報を提供する．また，LayeredVision は印刷物の気になる画像や部位を保管する機能を有する．
保管の操作は極めて直感的なものとした．利用者はディスプレイ上の保存したい情報に触れ，差し込んだ印刷物を引き抜く．この操作で，利用者が触れている部分（例えば画像部分）はディスプレイ上に残り，他の情報は消える（図 3 ）．一連の機能は，利用者が印刷

図3 画像保管操作の様子

物を前後左右に動かしたり，欲しい情報に触れたりするという極めて簡単な動作で操作できる点が特徴であ2.1

る．

利用シーン

公共空間や商業施設の案内として，パンフレット，リーフレットなどの印刷物は数多く配布されており，スリットに差し込む様子

利用者は気に入ったものを入手できる．パンフレット
情報はそれのみでも有益な情報を有するが，利用者はLayeredVision を活用すると以下のような情報を得ることができる．
・混雑情報，時刻，天気など動的に変化する情報・動画等，印刷物では表現できない情報
・印刷物のテキスト情報を他言語に翻訳した情報
また，LayeredVision の保管機能と ID 管理の仕組みを

図1 LayeredVision 概観併用することで，複数のパンフレットの中から好みの画像をスクラップして収集することが可能である．さらに，ネットワークと接続し，スクラップした情報をディスプレイ表示部他者に送信することも可能である．LayeredVision を中心とし，多くの拡張性が実現可能である．

印刷物
図2 重畳表示された様子

3.

システム

3.1

システム概要

テーブル上にタッチディスプレイを平置きし，テーブルとディプレイの間に，印刷物を差し込めるスリットを設ける．スリットに差し込まれた印刷物を識別し，位置を特定するため，テーブルの天板は透過性のある素材とし，テーブル内部に上向きにカメラを設置した．
印刷物にはマーカを印刷し，これをトラッキングに活用した．トラッキングした情報を元に，利用者からみて印刷物とディスプレイに表示される画像との位置や向きが一致するようにコンテンツを表示する．

LayeredVision：印刷物とデジタル情報を結ぶディスプレイ

3.2

また，タッチパネルからの利用者の操作情報を受けなシステム構成システムのハードウェア構成 (図 4 ・表 1) と，ソがらコンテンツを制御し，表示する（図 6 ）フトウェア構成(図 6 ・表 2)を以下に示す．

図4 ハードウェア構成
図6 ソフトウェア構成と処理フロー

表1 ハードウェア一覧
No.
H-1

名称

表2 ソフトウェア一覧

説明

タッチ

コンテンツ表示，タッチ認識を行う．

No.

名称

ディスプレイテーブルとの間はスリットを設ける．

S-1

認識アプリ

解析情報（パンフレットの種類・位置）をケーション

表示アプリケーションへ通知する．

表示アプリ

認識アプリケーションからの通知を元に，ケーション

ディスプレイ上にコンテンツを表示する．

H-2パンフレット

裏面に識別用マーカを付加（図 5 )．

H-3

テーブル

天板が透過性のあるテーブル．

H-4

処理 PC

コンテンツ表示，画像解析を行う．

H-5

カメラ

印刷物に付加されたマーカを撮像する．

S-2

説明

テーブル内部に設置．

3.3

コンテンツ概要

コンテンツは，以下の 2 つの機能を実現している．
マーカ①印刷情報を補完する機能
静止画部分が動画再生し，テキスト部分が異なる言

表面

裏面語へ切り替わる機能．重畳表示により，利用者は印刷物本体が切り替わっている印象を持つ．
②印刷情報から特定の部位を切取／保存する機能
ディスプレイに表示された印刷物の中で，気に入った画像部分に触れ，その状態のまま印刷物を移動させ

図5 パンフレット概観

る.この操作に連動して，触れている部分は固定され，処理 PC 内には認識アプリケーションと表示アプリ

その他の部分は操作に伴って移動する．この機能によケーションがインストールされており，これらのアプり，利用者はあたかも画像を引き抜いた印象を持つ．

リケーション間で情報を送受信することで全ての機能を実現している．

本システムのコンテンツは，差し込まれる印刷物の認識アプリケーションは，カメラからの画像からマデジタル情報と識別用のマーカを事前に紐付けている．

ーカを識別し，位置を特定／補正した上で，その情報また，再生される動画データや，他言語表記に関してを表示アプリケーションに通知する．情報を取得したも，事前に関連付けた形でコンテンツを構成している．

表示アプリケーションは，識別情報から表示すべきコあわせて，切取／保存機能に関しても，予め画像部分ンテンツを呼び出し，位置情報を元に位置を合わせ，を切り取り，操作可能とした．

情報処理学会 インタラクション 2011

4.

おわりに

本稿では，印刷物に対して付加情報を提供する際の現状の問題点を説明し，これを解決するための手法として，実空間上において視覚的に極めて近い状態で付加情報を重畳表示するシステムを提案した．あわせて，印刷物の一部分の情報を直感的に切り取り保管可能なインタラクション手法を実装した．
今後は，現バージョンの利用者評価と，より汎用的に利用できる周辺アプリケーションの開発を進めていく．今回のシステムでは，マーカを印刷しこれと印刷物の画像データとの紐付けを事前に登録する手法をとった．現在はマーカレストラッキングの精度も向上しており，このような手法を応用することで，実際の印刷物のデータで実現できることが望ましい．
付加情報の登録やコンテンツの簡易制作ツールなどを活用し，印刷物の制作時点でこれらの情報との紐付けを行い DB 化することで，集中管理による汎用的なプラットフォームが実現できると考える．

参考文献

1) J. Rekimoto and K. Nagao “The World throughthe Computer: Computer Augmented Interaction
with Real World Environments” - Proceedings of
the 8th annual ACM , 1995
2) H. Kato and M. Billinghurst “Marker Tracking andHMD Calibration for a Video-based Augmented
Reality Conferencing System.” - In Proceedings ofthe 2nd International Workshop on Augmented
Reality, pages 85–94, 1999.
3) LEADING EDGE DESIGN “On the Fly” -http://www.lleedd.com/portfolio/on_the_fly/