寝具へのインタラクティブなプロジェクションを利用した家電制御
理学専攻 情報科学コース

升田 枝里(指導教員：椎尾 一郎)

はじめに

1

スマートハウスにおける様々な機器のコントロールのために，日常生活で使用する様々なユーザインタフェースが研究されている．しかしながらその多くは，ユーザが覚醒していて状況を明確に認知できる状況を前提としている．本研究では暗い寝室のベッドの中にユーザが寝ていて，場合によっては意識が朦朧としている状況において，スマートハウスの各種機能をコントロールするインタフェースを提案し実装した．

寝具リモコン

2

人が寝室で寝ている状況では，多数のボタンや表記が配置された従来のリモートコントロール装置（リモコン）は適していない場合が多い．暗闇において，リモコンは通常よりもさらに見つけにくく，ボタンの表記は読みにくい．このようなリモコンの欠点を克服するために，ジェスチャーや音声による制御も提案されている．しかし，布団から手や体を出してのジェスチャー操作や声をあげての発話は，気持ちよくまどろんでいる状況にはふさわしくない．そこで，布団の中からこれを持ち上げてリモコン操作する手法を考案して実装した．本方式は，布団上の特定の場所を布団の中から手や足で持ち上げることにより，機器の操作を行う．
これに加え，持ち上げる場所のヒントをユーザに提示する目的で，寝具へのプロジェクション表示を行う．

2.1

図 1: システムの外観

図 2: システム構成図
寝具の上の凹凸変化を常時検出している．ユーザが，寝具の上に手をかざすことがトリガーとなり，プロジェクタからの投影が開始し，リモコン操作のための認識が開始される．寝具の上には，操作のためのボタンや，カラーチャート，調色／調光のためのパレットが表示される．ユーザが，ボタン位置や，スライダやカラーチャートの特定位置の布団を持ち上げると，これが深度カメラにより検出される．例えば，投影されたボタン部分の寝具を持ち上げれば，そのボタン制御が行える．
またスライダやカラーチャート部分を持ち上げて移動させると，対応するアナログ値を連続して調整できる．
この結果，ユーザの操作内容に基づいて音楽（on/oﬀ,音量，トラックなど），空調（on/oﬀ, 温度，風量）照明（on/oﬀ, 調色と調光）などが変更される．また投影変化と音により操作した事のフィードバックがユーザに返される．

システム構成図 1 にシステムの外観，図 2 に実装した本システムの構成を示す．ベッドの上方に軽量の LED プロジェ
クタ 1 と距離カメラ Xtion2 を設置した．プロジェク
タと Xtion はパーソナルコンピュータ 3 に接続されている．ユーザが寝具を操作した結果により，音楽，家電製品，照明をコントロールする．
ユーザへの音楽提示には，PC に搭載された iTunesアプリケーションを利用した．開発したアプリケーションから OSA (Open Script Architecture) API を利用して，iTunes をコントロールする Apple Script コマンドを送出する．また一般的な家電製品をコントロールするために，ネットワーク接続したプログラマブル赤外リモコンである iRemocon を使用した．現在はこれによりエアコン制御の信号を送出している．照明には，Philips 社の hue を使用した．hue はネットワーク接続する白熱電球型の LED 照明で，開発したプログラムからネットワーク経由で調色と調光をおこなう．これらのシステムは，将来的にはエアコンや天井照明などの天井付近に設置する家電製品に組み込むことで，一体化した実用的なシステムになるであろう．

2.2

2.3

設計方針

リモコンを使わずに，音声やジェスチャなどにより操作する方法は数多く提案されている．本研究では，寝室でユーザが寝ている状況を考慮し，寝具の上げ下げによるコントロールを採用した．寝具の上げ下げは，操作に慣れたユーザにとっては目を閉じたまま行うことも可能であり，寝室でのインタラクション手法として適していると考えている．
一方で，操作に慣れていないユーザや，複雑な操作内容に対して，寝具へのプロジェクションにより手がかりを提示する手法を採用した [1]．プロジェクション
マッピングなどで対象とする投影面は，通常は建物や操作方法

ユーザは本システムを以下のように操作する．通常はプロジェクタは消灯しており，一方で距離カメラは
1 ASUSTek 社 B1M

2 ASUSTek 社 Xtion PRO
3 Apple 社 MacBook Pro1

• ユーザが寝ている状態で，頭を持ち上げて寝具上の投影を確認する動作は，予想よりも困難であった．投影内容を詳細に読み取らなくとも操作できるような設計が望ましい．
• 操作方法を記憶していれば，眠った (目をつむった) ままでも操作は可能であった．
• 音による操作フィードバックは，投影を確認する必要がないため就眠時のインタラクションとして有用であった．
このような項目を考慮して，メニュー設計や操作手法を改善していきたいと考えている．

4

スクリーン以外のものへの投影をし，ユーザによる操作ができるシステムは，多くの研究が行われている．例えば，湯船をスクリーンにし，映像を投影する
AquaTopDisplay[2] では，手を水面から出すことでディスプレイと融合させることができ，従来では実現できなかった映像と身体が一体化したインタラクションを提供している．また粘土や砂を変形させ，形状を深度カメラなどで読み取り，上部からのインタラクティブな投影と組み合わせるシステムも研究されている [3][4]．

図 3: 実際に使用している場面

5

図 4: ボタン投影

まとめと今後の課題

ベッドに寝た状態のユーザが，家電製品等を操作するユーザインタフェースを開発した．動作試験により得られた知見から，寝ている状態での家電製品等の操作方法の一つとして有用であると考える．今後は，メニュー設計やインタラクション設計を改良し，ユーザによる評価実験を行い，有用性を確認したいと考えている．また，家電製品等を操作するだけでなく，寝具の高さを変える操作を利用したインタラクティブコン
テンツ提示，ゲーム，エンタテインメントのためのシステムとしても展開していきたい．

図 5: カラーチャート投影

壁などの硬い素材である．本方式では，ユーザにより形を変えられる柔らかい寝具への投影を行っている．
寝具で寝ているユーザを対象とした本方式は，ベッド部分に限定したジェスチャ認識と投影を行うことで実現できる．このため，撮影方向や投影方向が固定のカメラ／プロジェクタを用いても，ユーザの活動範囲を確実にカバーすることができる．また，寝室は暗所もしくは低照度の環境であるため，照度の低い小型，低価格なプロジェクタを用いても十分な投影効果を得られると期待できる．このため本方式は，寝具を用いたインタラクション手法として有用性，実用性が高いと考えている．

3

関連研究

参考文献
[1] Kaori Ujima, Azusa Kadomura, and Itiro Siio,
U-Remo: projection-assisted gesture control forhome electronics. CHI 2014 Extended Abstracts,ACM, 1609–1614, 2014.
[2] Hideki Koike, Yasushi Matoba, and Yoichi Takahashi. 2013. AquaTop Display: Interactive Water Surface for Viewing and Manipulating Information in a Bathroom. Proceedings of ITS 2013,155–164, 2013.

動作試験と考察[3] Ben Piper, Dr. Carlo Ratti, Yao Wang, Bo Zhu,
Saro Getzoyan and Professor Hiroshi Ishii, Illuminating clay: a 3-d tangible interface for landscape analysis. Proceedings of CHI 2002, 355362, 2002.

本システムを実際に使用している様子を，図 3 に示す．動作を確認したところ以下の知見が得られた．

• 当初は手を用いた操作を想定していたが，足で寝具を持ち上げる操作も容易であり，寝具全体を用いたインタラクションが可能であった．

[4] Yao Wang, Assaf Biderman, Ben Piper, CarloRatti, and Professor Hiroshi Ishii, SandScape,Home page at http://tangible. media. mit.
edu/projects/SandScape/SandScape. html

• ユーザの腹部部分の寝具の操作は，手を伸ばす必要があり困難であると予想していたが，これも比較的容易に操作することができた．
2