WISS 2022

直接的な位置調整が可能なスマートミラー型 AR ディスプレイ
入江 有紀 ∗

椎尾 一郎 ∗

五十嵐 悠紀 ∗概要.
スマートホームのインタフェース手段に AR を採用することで，スマート電球などの IoT デバイスの直接的な操作が可能になる．しかし，一般的な AR システムでは，使用前にデバイスの位置情報をシステムに登録する作業が必要である．そこで，AR を用いたスマートホーム制御において，ユーザが操作対象機器の位置情報を柔軟に調整できるインタフェース手法を提案し初期プロトタイプを実装した．本シス
テムでは，居室の壁面に設置するスマートミラーを使用する．ユーザがこの鏡の前に立つと，鏡に反射した IoT デバイスの場所に操作メニューが表示され，鏡面へのタッチによるメニュー操作が可能になる．シ
ステムが把握している IoT デバイス位置とのずれが気になる場合には，ドラッグ操作によりメニュー位置を修正できる．本方式により，各デバイス位置を初期設定することなく使用開始し，必要に応じて位置修正を行い，さらには，住人がデバイスを移動した場合にも柔軟に対応する AR システムが実現できる．

1

はじめに

家庭向けのスマートスピーカや IoT デバイスが普及しつつある．しかし，煩雑な初期設定が必要で，一般ユーザが新規に導入する際の障害になっている．
技術を利用者に感じさせないユビキタスな道具として受け入れられるためには，設定無しですぐに使い始めらる仕組みが必要である．また，必須の設定項目に関しても，毎日の運用の中で，必要に応じて段階的に調整できるインタフェースを用意することで，初期設定の負担を軽減できるであろう．
筆者らは，鏡型 AR[2] の手法を用いた，スマートホーム制御システムを提案している [5]．スマートミラーを設置し，部屋の実像にタッチする方式 [3] での機器操作を提供する．姿見として部屋に備え付けられた鏡をスマート化することで，日用品を利用したスマートハウス制御 [4] を目指している．
AR による操作を構築するためには，操作対象物の位置を仮想空間に登録する作業（レジストレーション）が必須である．特に生活空間における継続的な運用においては，スタンド照明器具，暖房器具，扇風機などの操作対象物や，位置検出デバイス自体が，模様替えのために移動する可能性があり，継続的な位置調整が必要になる．日常の道具として受け入れられるためには，レジストレーション無しでも一応の動作をし，その後の通常操作に付随する簡単な手段で位置調整が行えるインタフェースが望まれる．
そこで本稿では，AR を用いたスマートホーム制
御において，操作対象機器のレジストレーション位置を，ユーザが必要に応じて調整できるインタフェー
スを提案・実装した．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗お茶の水女子大学

図 1. 提案システムを使用している様子

2

提案システム図 1 に本システムの外観を示す．鏡の前にユーザが立つと，鏡に映った操作対象デバイス（例えば電球）に円形の操作点が表示されている．ユーザがこれをタッチするとメニューが現れ，メニュー項目選択により電球の on/oﬀ 操作などが可能になる．本方式において，鏡像と操作点位置の不一致が気になったユーザは，表示された操作点を直接操作（ドラッグ操作）することにより位置修正できる．この時システムは，物体の登録位置をユーザの視線上に移動させる．この操作を必要に応じて継続的に実施することで，物体の移動にも対応した適切なレジストレーションが実現する．

WISS 2022

位置がずれている場合，操作点がずれて表示される．
ずれを直したいと感じたユーザは，表示された操作点をドラッグ操作することで，登録位置を修正できる (図 2 右)．
ユーザから見て鏡に映る範囲から外れた場所に機器がある場合は，機器のある側の鏡左右の縁の部分に操作点を表示する．これにより鏡から見えない機器操作も可能である．このときユーザは，機器が映る位置まで移動することで機器の確認もできる．位
置が未設定のデバイスは，画面下部の固定位置に配置される．この機能により，機器位置を初期設定することなく使用開始できる．

図 2. ユーザインタフェース．(左) 鏡の前に立つと操作点と操作メニューが表示． (右) 操作点をドラッグすることで対象機器の位置を修正可能．
（タッチ部分に画像と矢印を加えたもの）

2.1

システム構成居室の壁面に姿見として設置するスマートミラーデバイスを想定して，システムの試作を行なった．大型の 42 インチ LCD 1 に，ハーフミラーシート2 を貼り付けてスマートミラーとした．LCD 上の黒色表示部分は鏡として機能し，明るい表示を行うとコンピュータディスプレイとして機能する．LCD の枠部分に赤外線式タッチデバイス3 ，枠の両脇に 2 台の USB接続カメラ4 を取り付けた．これを接続した PC5 には，Openpose [1] をインストールし，Python とProcessing でプログラムを作成した．Python プロ
グラムがカメラ画像から Openpose を利用してユーザ位置を検出し，Processing プログラムがユーザインタフェース画面を表示する．

2.2

ユーザインタフェース

スマートミラーは普段は部屋の鏡として機能し，天気などの情報提示が右上に行われている．ユーザがこの鏡の前に立つと，鏡に映った照明器具などの対象機器の場所に円形の操作点が表示される．ユー
ザが操作点にタッチすると，その場所に操作メニューが表示される．照明器具の場合は，on/oﬀ/cancel のメニュー項目が表示され，項目のタッチにより点灯，消灯が可能になる．(図 2 左)．操作対象機器の登録
1SONY, FWD-S42E1
KTJ, 窓用フィルム K-MS-60200
3CY-TECH, マルチタッチフレーム
4
Mu30chpb, 720p CMOS カメラ
5
MacBook Pro, OS は macOS Monterey(12.2.1)
2

図 3. 物体登録位置の移動アルゴリズム

2.3

物体登録位置の移動アルゴリズム

本システムは 2 台の USB カメラでユーザの画像を取得し，Openpose の機能を利用し，それぞれのカメラからユーザ頭部への方向ベクトルを取得する．
次に，両カメラの方向ベクトルの交点からユーザ頭部の位置座標を決定する．また，頭部位置と制御対象物を結ぶ線が，鏡と交わる点に，円形の操作点を表示する [5]．ユーザがドラッグ操作により物体の登録位置を修正しようとした場合，以下の方式で位置変更を行うよう実装した．
まずユーザの頭部 3 次元座標 u0 と鏡上のタッチ座標 t0 を結ぶベクトル v0 を作成する．次に，対象物体がこのベクトル上に位置するように修正する．
この時，システムが稼働してから初めて位置修正が実施された場合は，現在の実装では，鏡面より 2mの位置に物体があるとし，その位置を物体位置として登録する．
一方，過去のユーザのドラッグ操作により位置が推定されている物体に関しては，以下のように位置を修正する．まず，k 回目 (k > 1) のドラッグ操作から，ユーザ頭部の 3 次元座標 uk と鏡上のタッチ座標 tk を通る直線 lk を求める．これが k 回目の視線となる．同様に k − 1 回目の視線 lk−1 も求めておき，この 2 本の視線の共通垂線の lk への足を，新たな物体位置 Ok として更新する (図 3)．

直接的な位置調整が可能なスマートミラー型 AR ディスプレイ

参考文献[1] Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh.
Realtime Multi-person 2D Pose Estimation Using Part Aﬃnity Fields. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1302–1310, 2017.
[2] H. Sato, I. Kitahara, and Y. Ohta. MR-Mirror: AComplex of Real and Virtual Mirrors. In R. Shumaker ed., Virtual and Mixed Reality, pp. 482–491, Berlin, Heidelberg, 2009. Springer Berlin
Heidelberg.
[3] T. Seifried, M. Haller, S. D. Scott, F. Perteneder,C. Rendl, D. Sakamoto, and M. Inami.
CRISTAL: A Collaborative Home Media and De-vice Controller Based on a Multi-Touch Display.
In Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, p.
33–40, 2009.
[4] Y. Suzuki, K. Kato, N. Furui, D. Sakamoto, andY. Sugiura. Cushion Interface for Smart Home
Control. In Proceedings of the Fourteenth International Conference on Tangible, Embedded, andEmbodied Interaction, TEI ’20, p. 467–472, NewYork, NY, USA, 2020. Association for Computing
Machinery.
[5] 馮 子晴, 笹川 真奈, 的場 やすし, 椎尾 一郎. 半
透鏡表示を用いた反射型 AR によるスマートホーム制御. 第 84 回全国大会講演論文集, No. 1, pp.
217–218, 2022.