直接的な位置調整が可能なスマートミラー型 AR ディスプレイ
入江 有紀

1(指導教員：五十嵐 悠紀)

はじめに家庭向けのスマートスピーカや IoT デバイスが普及しつつある．しかし，煩雑な初期設定が必要で，一般ユーザが新規に導入する際の障害になっている．技術を利用者に感じさせないユビキタスな道具として受け入れられるためには，設定無しですぐに使い始めらる仕組みが必要である．また，必須の設定項目に関しても，毎日の運用の中で，必要に応じて段階的に調整できるインタフェースを用意することで，初期設定の負担を軽減できるであろう．
スマートホームのインタフェースとして AR が注目されている [2]．筆者らは，鏡型 AR [4] の手法を用いたシステムを提案している [7]．スマートミラーを設置し，部屋の実像にタッチする方式 [5] での機器操作を提供する．姿見として部屋に備え付けられた鏡をスマート化することで，日用品を利用したスマートハウ
ス制御 [6] を目指している．AR による家の操作を実現するためには，操作対象物を仮想空間に登録する作業（レジストレーション）が必須である [3] ．特に生活空間における継続的な運用においては，スタンド照明器具，暖房器具，扇風機などの操作対象物や，位置検出デバイス自体が，模様替えのために移動する可能性があり，継続的な位置調整が必要になる．日常の道具として受け入れられるためには，レジストレーション無しでも一応の動作をし，その後の通常操作に付随する簡単な手段で位置調整が行えるインタフェースが望まれる．
本稿では，AR を用いたスマートホーム制御において，操作対象機器の登録位置を，必要に応じてユーザが調整できるインタフェースを提案・実装した．

図 2: ユーザインタフェース．(左) 鏡の前に立つと操作点と操作メニューが表示． (右) 操作点をドラッグすることで対象機器の位置を修正可能．（タッチ部分に画像と矢印を加えたもの）
球の on/oﬀ 操作などが可能になる．本方式において，鏡像と操作点位置の不一致が気になったユーザは，表示された操作点を直接操作（ドラッグ操作）することにより位置修正できる．この時システムは，物体の登録位置をユーザの視線上に移動させる．この操作を必要に応じて継続的に実施することで，物体の移動にも対応した適切なレジストレーションが実現する．

システム構成3

居室の壁面に姿見として設置するスマートミラーデバイスを想定して，システムの試作を行なった．大型の 42 インチ LCD 1 に，ハーフミラーシート2 を貼り付けてスマートミラーとした．LCD 上の黒色表示部分は鏡として機能し，明るい表示を行うとコンピュータディスプレイとして機能する．LCD の枠部分に赤外線式タッチデバイス3 ，枠の両脇に 2 台の USB 接続カメラ4を取り付けた．これを接続した PC5 には，Openpose[1] をインストールし，Python と Processing でプログラムを作成した．Python プログラムがカメラ画像からOpenpose を利用してユーザ位置を検出し，Processingプログラムがユーザインタフェース画面を表示する．

3.1

スマートミラーは普段は部屋の鏡として機能し，天気などの情報提示が右上に行われている．ユーザがこの鏡の前に立つと，鏡に映った照明器具などの対象機器の場所に円形の操作点が表示される．ユーザが操作点にタッチすると，その場所に操作メニューが表示される．照明器具の場合は，on/oﬀ/cancel のメニュー項

図 1: 提案システムを使用している様子

2

ユーザインタフェース

提案システム図 1 に本システムの外観を示す．鏡の前にユーザが立つと，鏡に映った操作対象デバイス（例えば電球）に円形の操作点が表示されている．ユーザがこれをタッチするとメニューが現れ，メニュー項目選択により電1 SONY, FWD-S42E1
2 KTJ, 窓用フィルム K-MS-60200
3 CY-TECH, マルチタッチフレーム
4 Mu30chpb, 720p CMOS カメラ
5 MacBook Pro, OS は macOS Monterey(12.2.1)

1

することができる．現在は，スマートプラグを用いた照明機器の操作，充電の操作しか行なっていないため，ON/OFF の二値でしか制御ができないが，対象機器を増やし，エアコンやヒーターの温度変更や，照明機器やカーテンの段階調節を可能にしたい．

目が表示され，項目のタッチにより点灯，消灯が可能になる．(図 2 左)．操作対象機器の登録位置がずれている場合，操作点がずれて表示される．ずれを直した
いと感じたユーザは，表示された操作点をドラッグ操作することで，登録位置を修正できる (図 2 右)．
ユーザから見て鏡に映る範囲から外れた場所に機器がある場合は，機器のある側の鏡左右の縁の部分に操作点を表示する．これにより鏡から見えない機器操作も可能である．このときユーザは，機器が映る位置まで移動することで機器の確認もできる．位置が未設定のデバイスは，画面下部の固定位置に配置される．この機能により，機器位置を初期設定することなく使用開始できる．

参考文献[1] Cao, Z., Simon, T., Wei, S.-E. and Sheikh, Y.:
Realtime Multi-person 2D Pose Estimation Using Part Aﬃnity Fields, in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1302–1310 (2017).
[2] Clark, M., Newman, M. W. and Dutta, P.: ARticulate: One-Shot Interactions with Intelligent Assistants in Unfamiliar Smart Spaces Using Augmented Reality, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 6, No. 1 (2022).
[3] Lyu, Z., Yang, J. J., Lam, M. S. and Landay, J. A.: HomeView: Automatically Building
Smart Home Digital Twins With Augmented Reality Headsets, in The Adjunct Publication of the35th Annual ACM Symposium on User Interface
Software and Technology, UIST ’22 Adjunct, NewYork, NY, USA (2022), Association for Computing Machinery.

図 3: 物体登録位置の移動アルゴリズム

3.2

物体登録位置の移動アルゴリズム[4] Saakes, D., Yeo, H.-S., Noh, S.-T., Han, G. andWoo, W.: Mirror Mirror: An On-Body T-Shirt
Design System, in Proceedings of the 2016 CHI
Conference on Human Factors in Computing Systems, CHI ’16, p. 6058 ‒ 6063, New York, NY,USA (2016), Association for Computing Machinery.

本システムは 2 台の USB カメラでユーザの画像を取得し，Openpose の機能を利用し，それぞれのカメラからユーザ頭部への方向ベクトルを取得する．次に，両カメラの方向ベクトルの交点からユーザ頭部の位置座標を決定する．また，頭部位置と制御対象物を結ぶ線が，鏡と交わる点に，円形の操作点を表示する [7]．
ユーザがドラッグ操作により物体の登録位置を修正しようとした場合，以下の方式で位置変更を行うよう実装した．
まずユーザの頭部 3 次元座標 u0 と鏡上のタッチ座標t0 を結ぶベクトル v0 を作成する．次に，対象物体がこのベクトル上に位置するように修正する．この時，システムが稼働してから初めて位置修正が実施された
場合は，現在の実装では，鏡面より 2m の位置に物体があるとし，その位置を物体位置として登録する．
一方，過去のユーザのドラッグ操作により位置が推定されている物体に関しては，以下のように位置を修正する．まず，k 回目 (k > 1) のドラッグ操作から，ユーザ頭部の 3 次元座標 uk と鏡上のタッチ座標 tk を通る直線 lk を求める．これが k 回目の視線となる．同様に k − 1 回目の視線 lk−1 も求めておき，この 2 本の視線の共通垂線の lk への足を，新たな物体位置 Ok として更新する (図 3)．

4[5] Seifried, T., Haller, M., Scott, S. D.,
Perteneder, F., Rendl, C., Sakamoto, D.
and Inami, M.: CRISTAL: A Collaborative
Home Media and Device Controller Based ona Multi-Touch Display, in Proceedings of theACM International Conference on Interactive
Tabletops and Surfaces, p. 33 ‒ 40 (2009).
[6] Suzuki, Y., Kato, K., Furui, N., Sakamoto, D. andSugiura, Y.: Cushion Interface for Smart HomeControl, in Proceedings of the Fourteenth International Conference on Tangible, Embedded, andEmbodied Interaction, TEI ’20, p. 467 ‒ 472, New
York, NY, USA (2020), Association for Computing Machinery.
[7] 馮子晴, 笹川真奈, 的場やすし, 椎尾一郎：半透鏡表
示を用いた反射型 AR によるスマートホーム制御,
第 84 回全国大会講演論文集, No. 1, pp. 217–218(2022).

まとめと今後の展望

本稿では，鏡に反射した IoT デバイスへのタッチによるメニュー操作を可能にし，容易に初期位置の登録ができるシステムを提案した．システムが把握している IoT デバイスの 3 次元位置とのずれが気になる場合には，ドラッグ操作によりメニュー位置を手軽に修正

2