情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-79
2019/3/6

スマートハウスでの天井通知システムの構成と実装
櫻井 爽大郎1,a)

平井 重行2,b)

概要：スマートな住宅環境での一手法として，プロジェクタを用いて天井を情報化ディスプレイとして用い，日常生活での家電・インターネットサービス等の視覚的な通知を行うシステムを提案している [1][2]．
これは宅内でスマートフォンなどの携帯端末を持ち歩くわけではない環境で，通知元との距離や複数の通知の発生によって，ユーザが通知に気付かなかったり，忘れてしまったりする中，天井を活用し，音だけでなく視覚的な表現で通知を行うものである．本稿では，そのシステム構成と実装の概要について述べる．

1. はじめに

2.1 天井を利用した研究
Tomitsch らは，天井の利用に着目したユビキタスコン

住宅での日常生活では，電子レンジや洗濯機などの家電ピューティングアプリケーションを提案し，そのフレームや給湯暖房機などの報知音，インターフォンの呼び出し音

ワークを作成している [3]．天井を情報化ディスプレイとしなどによるイベント通知が溢れている. これらの通知は宅て，空間における音量レベルの可視化や，インタラクティ内の離れた場所にいると聞こえない場合があるほか，複ブに天井へのポインティングを行うための調査を行なって数同時に発生した通知などは忘れてしまう場合がある. スいる．Ceilign Interaction[4] では，インタラクティブに天マートフォンなどのモバイル端末や，メガネ型，リストバ井を利用するシナリオ例として，パソコンのスクリーンのンド型などのウェアラブル端末で通知する方法もあるが，拡張，ワークフローの共有，パソコンの通知ポップの表示，常に身につけているとは限らない. 高村らは，天井を情報プリンタなどの状態表示等を挙げている．Hands-UP[5] でディスプレイとして通知を表示するシステムを提案していは，天井をディスプレイ化し，寝室のベットに横たわりなる [1][2]. これは宅内で発生したイベントを報知音などのがら，腕のジェスチャなどでインタラクティブに操作を行聴覚的な通知と共に，プロジェクタなどを用いて天井に投うシステムとして，Kinect を用いたプロトタイプを例とし影することで，アニメーション表示による視覚的な通知をて示している．

行うものである．受信したイベントはシステム内で保持され，以後は ToDo リストとしても使用できる．これらの通知は見上げないと見えない位置に表示される．天井を用い

2.2 プロジェクションによる天井以外の住環境への情報提示る利点として，壁や床に比べて，家具や装飾品などの遮蔽

MeetAlive[6] では，対面で行うグループ会議の補助を目物が少なく，通知空間が広いため視覚的な通知場所として的として，複数台のプロジェクタとデプスカメラを組み合活用しやすい点と，日常生活で視線に入りにくいため，表わせることで，会議室の全方向の壁や天井，机などを情報化

示物のちらつきによる作業の妨害などになりにくい点が挙

ディスプレイとして利用し，室内にいる全員がそれぞれのげられる．本論文では，その天井通知システムの構成と各コンピュータ内のコンテンツの共有などを行えるシステムサブシステムの機能の実装について述べる．

を提案している．RoomAlive[7] では，周囲の環境を複数台2. 関連研究のプロジェクタでのプロジェクションマッピングによってディスプレイ化し，部屋の外観をトロンテーマや沼地の川な本章では，天井を利用した研究や，プロジェクションにどに変更し，ユーザ自身が投影物に対して叩く，銃で撃つ，よる天井以外の住環境への情報提示に関する研究についてなどのアクションを行い，それを検知することで，拡張され述べる．

たゲーム体験をしているような感覚に浸ることができるシ12a)b)

京都産業大学大学院 先端情報学研究科
京都産業大学 情報理工学部
i1888060@cc.kyoto-su.ac.jp
hirai@cse.kyoto-su.ac.jp© 2019 Information Processing Society of Japan

ステムについて述べている．LightSpace[8] では，デプスカ
メラとプロジェクタを用いて，空間内での手や壁といった様々なサーフェス間での，画像の配置やオブジェクトの操

981

情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-79
2019/3/6

作等の双方向性をインタラクティブに提供している．Yang

センサなどを用いて計測し，ユーザ名，部屋情報，およびらは，天井に設置した複数台のプロジェクタを用い，それ住宅の間取り図上での二次元座標をパラメータとして送信

ぞれパン，チルト，ズーム，フォーカスのコンピュータ制し，通知情報管理サブシステムは，これをユーザ情報とし御によって様々なプロジェクションマッピングによる演出て受信し管理する．これらの受信したユーザ情報，およびを空間的に再構築可能なシステムについて述べている [9]．

イベント情報をシステム内でユーザが登録しているアカウ

Pinhanez らは，回転ミラーを利用することで LCD/DLP

ントと紐付け，システム内で保持，管理をする．また，イの投影方式のプロジェクタの光を，壁や床などの様々なベント情報の受信時には，それをユーザに通知する通知アサーフェスに向ける仕組みとして，Everywhere Display プ

ニメーションの描画を行う制御メッセージを描画サブシスロジェクタを提案している [10]．IllumiRoom[11] では，イテムへと送信する．描画サブシステムでは，通知や ToDo

ンタラクティブな体験の向上を目的として，Kinect を用リストなどを表示するデザインの切り替えができ，通知情いてテレビを含む物理環境をスキャンし，プロジェクショ

報管理サブシステムから描画処理を行う制御メッセージをンマッピングによってゲームの視野の拡張などの補強・拡受信すると，設定されたデザインで描画処理を行う．そし張するシステムを提案している．WorldKit[12] では，デプて，描画された画面の情報をマルチプロジェクタ表示サブ

スカメラとプロジェクタを利用し，周辺環境に対して触れシステムへと送信する．マルチプロジェクタ表示サブシス

ることによる文字や絵の描画や机の上の物体に関する情報

テムは宅内の各プロジェクタ毎の描画位置、範囲を管理し提示といったインタラクションを行っている．Augmentedており，描画サブシステムより画面情報を受信すると，各Reality Kitchen[13] では、キッチンでの複雑で危険な操作プロジェクタに送信する適切な位置・範囲に従って描画位を，安全，簡単，かつ効率的な調理の支援を行うために，置処理をし，それぞれ各プロジェクタ，およびそれに接続キッチン周辺の物や壁などにプロジェクションマッピングされた描画ノードへと送信する．次章では，各サブシステによって情報を投影し，複数のタスク間の調整などを行う

ムの実装について述べる．

システムについての設計と初期評価を行なっている．

3. システム構成
本システムは主に，電子レンジや洗濯機等の報知音や，4. 各サブシステムの概要と機能
本章では，天井通知システムを構成する各サブシステムの機能についての概要について述べる．

インターフォンの呼び出し，SNS やメール，カレンダーといったインターネットサービス等から受信したイベント情4.1 通知情報管理サブシステム

報の受信や，システムを利用する各ユーザのイベント登録，天井通知システムのコア部分として構成する．家電の仕位置情報などのユーザ情報管理，通知情報管理を行う通知

事完了や異常状態などのイベント情報の受信，ユーザ情報情報管理サブシステム，天井に投影する通知アニメーショの設定や管理，イベント情報とユーザ情報の紐付けによるンや ToDo リストの描画処理，およ表示デザインの切り替

通知内容の決定と通知処理を行う．

え等を行う描画サブシステム，宅内に設置する多数のプロ

4.1.1 イベント情報受信

ジェクタの描画位置や範囲を管理し，適切な描画位地処理

本システムが受信するイベント情報は，電子レンジや洗を行うマルチプロジェクタ表示サブシステム，各ユーザの濯機等の家電の報知音による完了イベントや，給湯暖房機宅内での位置を計測するユーザ位置取得サブシステム，のやインターフォンのコール等の住宅設備の呼び出し通知，４つで構成する．本システムの全体概要を図 1 に示す．こまたコンロの火の消し忘れ，ガスの元栓閉め忘れといったの時，各サブシステム間の制御メッセージは主に MQTT緊急通知等，様々なものが対象となる．また，Twiter やカプロトコルでやりとりする．また，天井に通知内容を表示

レンダー，ToDo リストなどのインターネットサービスかしている例を図 2 に示す．

らの情報も受信する．

4.1.2 ユーザ情報管理
3.1 動作フロー概要

ユーザはあらかじめ本サブシステムにユーザ名とパス

家電や住宅設備によるイベント情報は，IoT 家電等によワードを設定してアカウントを作成する．各ユーザは，自るネットワーク経由での通信や，既存の家電等からセンサ身のアカウントに受信したいイベントの登録を行う．ま等を用いて送信し，通知情報管理サブシステムは，これらた，ユーザ位置取得サブシステムから，ユーザの位置情報をイベント情報として受信する．Twitter やメールといっも受信し管理する．

たインターネットサービスからの情報は WebAPI や IMap

4.1.3 通知情報受信などのプロトコルを用いて通信し，通知情報管理サブシス

イベント情報を受信すると，対象のイベントを登録してテムは，これらを SNS やメール，カレンダーなど種類別いるユーザ情報と紐づけてタスクとしてシステム内で管理に受信する．ユーザの位置情報は，カメラデバイスや圧力する．これは，受信したイベント情報の内容，完了状態，© 2019 Information Processing Society of Japan982

情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-79
2019/3/6

図 1

システム構成図する処理を行う．

4.3.1 通知情報受信
通知情報管理サブシステムからユーザへ通知する情報として，通知対象のユーザ，通知イベントの内容と優先度，その描画位置を受信し，描画処理を行う．その他にも，表示デザインの切り替え，ToDo リストの表示，といったユーザの操作等による制御メッセージも受信する．

4.3.2 表示デザイン切り替え
表示する通知アニメーションや ToDo リストのデザイン
図 2 システム利用例

通知の優先度の３つのパラメータを持っている．また，これらのパラメータを元にイベント発生の通知を描画するための制御メッセージを，描画サブシステムへ送信する．現時点では，ユーザ情報やイベント情報の登録・設定手段として，Web サーバ経由での通信を用いて，ブラウザなどから本サブシステムへログインすることで操作を行なっている．

4.2 ユーザ位置取得サブシステム
本システムの通知や ToDo リストの表示はユーザの頭上へ行うことを想定している．そのため，ユーザの頭上へ通知内容を表示するために，ユーザ位置の屋内測位を行う必要がある．現時点での実装として，部屋に設置した RGBD
カメラで取得した深度画像から，ユーザとの距離を計測し，部屋情報と共に住宅の間取り図上での二次元座標としてユーザ一位置情報を取得し，通知情報管理サブシステムおよび描画サブシステムへと送信する．また，我々の研究環境である実験住宅Ξ Home では，マーカー天井 [14] の仕組みを用いてユーザの屋内測位を行うこともできる．

4.3 描画サブシステム
ユーザへの通知アニメーションや，ToDo リストを描画© 2019 Information Processing Society of Japanの切り替えを行う．

4.3.3 描画処理
通知情報管理サブシステムから受信した制御メッセージに従って，本サブシステムでは，宅内での各部屋の天井に対応した描画領域を持っており，通知情報管理サブシステ
ムから描画を行う制御メッセージを受信すると，ユーザ位置取得サブシステムから得られた部屋情報，座標データから，描画位置を決定し，描画を行う．本研究では描画ツールとして Unity を用いて，Syphon によって各描画領域毎に表示画面を画像情報としてマルチプロジェクタ表示サブシステムへと送信する．

4.4 マルチプロジェクタ表示サブシステム
複数プロジェクタを用いて住宅内全体の天井を描画することを前提にしたシステムとしている．ここでは，住宅内の間取り全体の天井をマップとして保持しており，各プロジェクタが受け持つ表示領域を管理する．そして，ユーザの位置や各プロジェクタの表示領域に合わせて，前節で述べた描画結果を分割し，各プロジェクタの描画を受け持つコンピュータへ送信する．

4.4.1 描画画面受信
描画サブシステムで描画された画面を宅内の投影対象となる天井の数だけ受信する．現状では，描画画面は画像情983

情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-79
2019/3/6

報として Syphon で受信し，投影対象となる天井で用いるプロジェクタに合わせて描画位置処理を行う．

4.4.2 プロジェクタ管理[3]

天井に投影するために用いる各プロジェクタについて，それぞれの投影する部屋情報と表示範囲を保持し，管理

[4]

する．

4.4.3 描画位置処理[5]

管理されている各プロジェクタの部屋情報，表示範囲に従って，受信した画像情報を適切な描画位置・範囲になるように分割・クリッピング処理を行い，それぞれプロジェクタに送信する．現状では，分割・クリッピングの方法と[6]して OpenCV を用い，その各部分描画領域を NDI プロト
コルで送信し，プロジェクタから投影される．

[7]

4.5 レンダリング方式
本システムのレンダリング方式として，集中レンダリン
グを用いている．天井に表示する内容は，メインとなるコンピュータ内で Unity によってレンダリングし，各プロ[8]

ジェクタ，またはそれに接続されたコンピュータはレンダリングされた各表示内容の画像情報を受信し，表示する．
各描画ノードに描画ツールを導入し，描画処理を行う分散[9]

レンダリング手法を用いることも可能だが，その場合，各描画ノードには描画処理を行うための処理能力などが要求される．近年ではギガビットイーサネットや WiFi など高速通信できる環境が整ってきており，実環境での利用を[10]想定した場合，レンダリング処理は性能の高いコンピュー
タ 1 台で行い，描画ノードではその表示処理のみを行うことで，機器導入に伴うコストの削減などに繋がると考えら

[11]

れる．

5. おわりに[12]

本論文では，我々が開発を行った天井通知システムの概要とサブシステムの実装について述べた．今後は各動作テストを行い，サウンドでの通知も含めてシステム統合をする．その後，通知アニメーションや ToDo リストにおける[13]

様々な描画デザインを検討し，被験者実験を通じて，描画デザインによる通知の気づきや，ToDo リストのみやすいさ，使いやすさの評価を行う．また，見上げることによる首への負担なども評価を行い，天井通知システムの有用性[14]

ムとそのデザイン, 情報処理学会第 77 回全国大会講演論
文集, 6ZA-06 (2015)
Tomitsch M: Interactive Ceiling - Ambient Information
Display for Architectural Environments. PhD thesis, Vienna University of Technology (2008)
Wimmer R, Bazo A, Heckner M, Wolﬀ C: Ceiling Interaction: Properties, Usage Scenarios, and a Prototype, In
Blended Interaction (Workshop) at CHI2013 (2013)
Oh J, Hahm C, Jung Y, Sin H, Cho Y, Lee J: Hands-Up:Motion Recognition using Kinect and a Ceiling to Improve the Convenience of Human Life, CHI EA 12 CHI
12 Extended Abstracts on Human Factors in Computing Systems Pages 1655-1660
AR Fender, H Benko, A Wilson: MeetAlive, ISS 17
Proceedings of the 2017 ACM International Conferenceon Interactive Surfaces and Spaces Pages 106-115
Brett Jones, Rajinder Sodhi, Michael Murdock, RavishMehra, Hrvoje Benko, Andrew Wilson, Eyal Ofek, Blair
MacIntyre, Nikunj Raghuvanshi, Lior Shapira: RoomAlive: magical experiences enabled by scalable, adaptive
projector-camera units, UIST 14 Proceedings of the27th annual ACM symposium on User interface softwareand technology Pages 637-644
Wilson, A.D. and Benko, H.: Combining multiple depthcameras and projectors for interactions on, above andbetween surfaces. UIST 10 Proceedings of the 23ndannual ACM symposium on User interface software andtechnology Pages 273-282
Yang, R., Gotz, D., Hensley, J., Towles, H., & Brown,
M. S. (2001, October): Pixelflex: A reconfigurable multiprojector display system. In Proceedings of the conference on Visualization’01 (pp. 167-174). IEEE Computer
Society.
Pinhanez, C. (2001, September): The everywhere displays projector: A device to create ubiquitous graphical interfaces. In International Conference on UbiquitousComputing (pp. 315-331). Springer, Berlin, Heidelberg.
Jones, Brett R., et al: IllumiRoom: peripheral projectedillusions for interactive experiences. CHI 13 Proceedings of the SIGCHI Conference on Human Factors inComputing Systems Pages 869-878
Xiao, Robert, Chris Harrison, and Scott E. Hudson:
WorldKit: rapid and easy creation of ad-hoc interactive applications on everyday surfaces. Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems. ACM, 2013.
Bonanni, L., Lee, C. H., & Selker, T. (2005): CounterIntelligence: Augmented reality kitchen. In Proc. CHI(Vol. 2239, p. 45).
中里祐介, 神原誠之, 横矢直和: 不可視マーカを用いた位
置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム, 日本バーチャルリアリティ学会論文誌, Vol.13,
No.2, 2008.

について検証していく．
謝辞

本研究は JSPS 科費用 JP16L00726 の助成を受けた.
参考文献
[1]
[2]

高村未知, 平井重行: ユビキタス住宅における天井通知シ
ステムの提案, HIS2014 論文集, 1504P (2014)
高村未知, 平井重行: スマートハウスでの天井通知システ© 2019 Information Processing Society of Japan984