情報処理学会 インタラクション 2017
IPSJ Interaction 20173-506-25
2017/3/2

障子を用いたインタラクティブシステムの開発
中原 由美1水野 慎士1,a)

概要：本研究では障子を用いたインタラクティブシステムの開発を行う．障子にはプロジェクタで映像が投影されており，開け閉めによって障子の位置が左右に移動すると，システムは障子の移動に合わせて映像を投影する．また，障子が開いている状態と閉じている状態で映像を変化させたり，障子の開け閉めの速さによって投影される映像も動いたりする，本研究では Kinect で取得した深度画像を用いることで障子の状態をリアルタイムで取得することを実現しており，提案システムによってインタラクティブなデジタ
ル和室なども実現可能となる．

Development of an Interactive System Using Shojis
Yumi Nakahara1

Shinji Mizuno1,a)Abstract: In this study we develop an interactive system using shojis: Japanese paper sliding doors. Thesystem projects images on shojis as following the changes of the positions of the shojis. The system alsochanges images according to the states of the shoji: opened/closed, moving/stopping, and so on. The systemanalyzes the states of shojis using depth images taken by a Kinect. The proposed system could realize adigital Japanese-style room with interaction.

1. はじめに閉じている状態で映像を変化させたり，障子の開け閉めの速さによって投影される映像も動いたりする，映像やセンサなどのデジタル技術の発展に伴い，人や物障子を用いたデジタルコンテンツは既にいくつか提案さの動きにリアルタイムの反応するインタラクティブコンテれているが [5]，その多くは障子を単にスクリーンの代わりンツが様々な場面で活用されている．そして，近年は日本として用いているものである．本研究では Kinect で取得の伝統文化とインタラクション技術を組み合わせた日本発した深度画像を用いることで障子の状態をリアルタイムでの新しいコンテンツが提案されており，プロジェクション取得している．それにより障子の開け閉め動作に対するイマッピングを用いた歌舞伎演出 [1]，映像を用いたコマ遊ンタラクションが可能となり，和室を舞台とした日本発のびの拡張 [2]，生け花を用いたインタラクティブな影絵 [3]，新しいコンテンツを実現することができる．

インタラクティブな扇子 [4] などが提案・開発されている．
そのような背景の中，本研究では日本の伝統文化の一つ

2. 提案システムの概要である障子に着目して，障子と映像を組み合わせたインタ提案システムは障子 2 枚と処理用 PC，プロジェクタ,ラクティブシステムの開発を行う．このシステムは障子にKinect で構成される．Kinect は障子の正面に設置して，障プロジェクタで映像が投影するもので，開け閉めによって子の状態を取得するために用いる．2 枚の障子は左右にの障子の位置が左右に移動すると，システムは障子の移動にみ移動することができ，それぞれ中央を越えて反対側に移合わせて映像を投影する．また，障子が開いている状態と動することはない．図 1 にシステム構成を示す．
システムではプロジェクタを用いて障子の格子を生かし1a)

愛知工業大学情報科学部
Faculty of Information Science, Aichi Institute of Technology, Toyota, Aichi 470–0392, Japans mizuno@aitech.ac.jp© 2017 Information Processing Society of Japanながら映像を投影する．このとき投影する映像は障子の状態によって変化する．障子が閉じられた状態のときは，2771

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 13-506-25
2017/3/2

システム構成Fig. 1 Overview of the system

図 2

深度画像から抽出された障子領域

Fig. 2 Regions of shojis extracted from a depth image

枚の障子を 1 つのスクリーンと見なして 1 枚の映像を投影する．障子が左右に開いた状態のときは，それぞれの障子の位置に合わせて異なる映像を投影する．また，障子の動きによっても映像が変化する．例えば，障子を揺すると投影された映像の中の物体も揺れたり飛び跳ねたりする．
提案システムを用いたコンテンツでは，ユーザは障子を開け閉めすることで様々な映像の変化を楽しむことができる．

3. 実現方法
3.1 障子領域の抽出
提案システムを実現するためには，障子の状態をリアルタイムで認識する必要がある．これは 2 枚の障子の前に設図 3 障子領域の左右端点に基づく障子位置の決定

Fig. 3 Decision of the positions of shojis based on both endsof each region of shojis

置した Kinect で取得した深度画像を解析することで実現する．なお，ユーザは和室でのマナーに従って座った状態障子の左右の境界が完全に隠れることは考えにくいため，で障子を開け閉めするものとする．以下に障子の状態の認2 つの障子領域の左右の端点はそれぞれの障子の左右の境識手順を述べる．

界であると見なす．このとき，左右の端点間の水平距離がKinect を障子正面から既知の距離 d の位置に設置する．

障子の幅と大きく異なっている場合には障子の境界が完全障子は左右にのみ移動するため，障子と Kinect との距離に隠れていると判断して，中央側の端点を障子の内側境界は基本的には変化しない．また，Kinect の位置から観察さとする．これにより，各障子の境界位置が確定して障子自れる障子の大きさも計算可能であり，障子の左右いずれか体の位置も確定する（図 3）．の境界の位置がわかれば障子の位置は確定する．そこで，各障子の位置は毎秒 30 フレームで取得している．その深度画像に対して距離 d に基づくしきい値処理を施して特ため，フレーム間の位置の差分を用いることで障子の速度定の距離にある障子候補領域を抽出する．そして，しきいも計算可能である．これにより，障子が移動中かどうかを値以上の面積を持つ上位 2 つの候補領域を障子領域とする識別することができる．

（図 2）．

3.3 映像生成と投影
3.2 障子の位置と状態の識別

本研究のシステムでは，文献 [3] と同様の手法を用いて障子の位置と状態は障子領域を解析することで識別する．

実空間と同等の CG 空間を構築している．CG 空間では実障子領域が一つのときは，障子は閉じていると判定する．

空間と同じ三次元位置に CG モデルの障子を配置してお左右の障子はそれぞれ中央を越えて反対側には移動しないり，障子の移動に応じて CG モデル障子も移動する．また，ため，閉じた状態の障子の位置は確定する．

CG モデル障子にはテクスチャマッピングが施されており，障子領域が 2 つのときは，領域中心に基づいて 2 枚の障子領域を識別してから，各領域の左右の端点を求める．
ユーザが和室のマナーに従って障子を開け閉めした場合，© 2017 Information Processing Society of Japan

障子の開け閉めの状態や動きに応じてテクスチャマッピングを変化させる．
そして，実空間のプロジェクタ位置を視点とする CG 映772

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-506-25
2017/3/2(a) 移動による色の変化(a) 障子が閉じた状態(b) 移動による揺れの変化
図 5

障子の移動による映像の変化の様子

Fig. 5 Change of images with motions of shojis

5. まとめ本研究では，障子を用いた新しいインタラクティブシステムを開発してコンテンツを試作した．試作したコンテンツでは障子を開け閉めすることによる映像とのインタラク(b) 障子が開いた状態
図 4 障子への映像投影の様子

Fig. 4 Projecting images on shojis

ションを実現しており，日本の伝統的文化を利用した新しい表現の可能性を感じることができた．
今後の課題としては，障子を破るなどの障子の開け閉め以外のインタラクションの実現が挙げられる．また，プロジェクタを 2 台利用することで，障子を開けた向こう側に像を生成してプロジェクタで CG 映像を投影すると，CGも映像を投影する立体的なコンテンツを実現できるシステ

モデル障子の映像は自動的に実空間の障子の位置に正しくムの拡張も考えている．

投影される．

4. 実験
提案手法を実装してコンテンツを試作して実験を行った．映像生成のために OpenGL を用いており，Kinect に謝辞 本研究の一部は科研費基盤研究 (C)(26330420) による．
参考文献
[1]

よる深度画像の取得と解析には OpenNI と OpenCV を用いている．障子の大きさは高さ 185× 幅 90(cm) である．
実験では，提案手法によって障子の位置が正しく取得さ[2]れて，障子の位置に合わせて正しく映像が投影されることを確認した．また，障子が閉じている状態と開いている状[3]

態を識別して，状態に応じて映像が変化することを確認した（図 4）．そして，障子が移動中かどうかを識別して，動きに応じて投影される映像も動作することを確認した（図[4]5）．ただし，和室のマナーに従わずにユーザが中央に立った場合，障子が閉じているにも関わらず障子領域が 2 つになってしまったり，障子を開けた状態で障子の内側境界が[5]

KABUKI LION - SHI-SHI-O: The Adventures of MythicalLion -. http://www.kabuki-bito.jp/japankabuki/en/,
2016.
的場やすし, 佐藤俊樹, 小池 英樹: コマ遊び体験を拡張する遊具システム, 情報処理学会論文誌, Vol. 53, No. 3, pp.
1110–1118, 2012.
岩崎妃呂子, 水野慎士, 秋葉陽児: いけばなを用いたインタ
ラクティブデジタルコンテンツ “デジタル枯山水” と “いけばな影絵”, 情報処理学会研究報告, Vol. 2016-DCC-13,
No. 5, 2015.
渡邊麻里恵, 馬場哲晃, 串山久美子: 伝統工芸を再考するイ
ンタラクティブ扇子の制作”, 情報処理学会インタラクショ
ン 2010, No. 0174, 2010.
「龍馬伝」幕末志士社中プロジェクションマッピング,
http://www.projection-mapping.jp/?p=623, 2013.

正しく決定することができなかったりすると，障子の状態の誤識別が生じて映像が正しく投影されない場合があった．

© 2017 Information Processing Society of Japan773