情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-54
2023/3/1

Laptop SpaceTop：二次元・三次元の融合操作を実現する
折りたたみモバイル PC
藤澤秀彦†1宮下芳明†1

概要：本稿は，Jinha らによって提案された，二次元操作と三次元操作を融合させたシステム SpaceTop の改良を試みたものである．SpaceTop は透過型有機 EL を用いた高価なシステムであり，同種のシステムを構築・検証することが難しい．また，壁や天井に深度カメラなどの装置を設置する大掛かりなシステムであるため，通常使うパーソナルコンピュータとしての用途を開拓しづらかった．本稿で提案する Laptop SpaceTop は，SpaceTop を安価に実現するとともに，ノートパソコンのように折りたたんで持ち運べ，バッテリー駆動で使用できるように改良した．

1. はじめに
Jinha らは従来のユーザインタフェースを拡張し快適な操作を行うために，二次元操作と三次元操作を融合させたシステム SpaceTop[1]の提案を行った．キーボードの上に３D のオブジェクトが浮かんでおり，それを直接操作したり，三次元空間にクリックや描画を行わせるものである．このインタフェースは革新的であるとともに多くの可能性を秘めており，HCI 分野に大きな影響を与えた．ただ，このアイデアから十年近く経った現在，社会実装はもちろんのこと，二次元操作と三次元操作が融合したこのインタフェー
スを用いたアプリケーションの模索や，実使用を見据えた検証など，多くの研究が行われないままとなっている．その原因は，SpaceTop 自体が透過型有機 EL を用いた高価なシステムであり，同種のシステムを構築・検証することが難しいこと，また，壁や天井に深度カメラなどの装置を設置する大掛かりなシステムであるため，通常使うパーソナルコンピュータとしての用途を開拓しづらいことであると
筆者らは考えた．
そこで本稿では，SpaceTop を安価に実現するとともに，ノートパソコンのように折りたたんで持ち運べ，バッテリー駆動で使用できるように改良した．提案システム Laptop
SpaceTop は，透過ディスプレイを一般に流通している小型プロジェクタとポリカーボネート板で代用している．また，Web カメラを各種センサとして用いる事で，壁や天井に設置する必要性をなくしている．入力デバイスには，影ポインティング操作[2]を念頭におき赤外線を採用している．シ
ャーシに全部品を実装し，折り畳み機構を搭載し可搬性を向上させた.

図 1 （上）システムの全体図（下）システムを折り畳んだ様子（Ultimems ピコプロジェクター[4]），表示面となるポリカーボネート板，2 台のジェスチャ検出用 Web カメラ（Ailipu
Technology ELP-USBFHD05MT-RL36[5]），顔トラッキング用 Web カメラ（サンワサプライ CMS-V43BK[6]），これらの部品を収納するシャーシによって構成される. シャーシは 3D プリンタによって造形を行った．また，シャーシ各

2. 提案システム
2.1 デバイスの構成
図 1 は本システムの全体図である. 本システムは主にメインボード（Lattepanda Alpha 864s[3]），小型プロジェクタ部に複数のヒンジが搭載されており，折りたたむことが可能である. シャーシ内部にはバッテリーを搭載しており，外部の電源に接続せずシステムを動作させることができるため，場所を選ばず設置することができる．内蔵入力デバ
イスとしてキーボードを搭載しており，キー入力を伴うソ†1 明治大学

© 2023 Information Processing Society of Japan353

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1C-54
2023/3/1

フトウェアを実行することが可能である．また，入力インすることで奥行きを表現している.

タフェースとして USB ポート 2 基，充電・給電用 USB type-

ペン型デバイスの位置特定は前述した 2 台のカメラによC ポート 1 基，3.5 mm オーディオジャック 1 基を搭載しって行われる. ディスプレイを支える支柱部のカメラで上ている．

下左右，ディスプレイ上部のユニットのカメラで奥行きを取得することで位置を特定している. カメラから取得した画像を二値化し，最も大きいブロブの位置を取得することで LED の位置を検出している.
特定したペン型デバイスの位置に基づき三次元空間上に
図 2

ペン型デバイス仮想的にポインタを配置している．ポインタと各ウィンドウに衝突判定を設け，衝突をトリガーとしてウィンドウの三次元入力インタフェースとして，図 2 に示すような先端に赤外線 LED を搭載したペン型デバイスを開発した. ペン型デバイスの軸部分に設置されたスイッチを押し込んでいる間，先端の赤外線 LED が発光する. メインボードと小型プロジェクタは HDMI ケーブルによって接続されている．

選択を行っている．また，ウィンドウ選択後にどれだけペン型デバイスが移動したかを計算し，移動量がしきい値を超えた際にジェスチャとして認識されるようにした．
2.3 3D デスクトップ UI の試作

小型プロジェクタはポリカーボネート板に向かって映像を投影しており，ポリカーボネート板上には半透明の映像が表示される．また，ディスプレイ上部に取り付けられた Web
カメラにより顔の位置をトラッキングし，画面内の投影座標を変化させることで奥行きを表現している.

上部
Web カメラ

支柱部
Web カメラ図 3

背面から見たシステム

図 3 はシステムを背面から見た際の図である. ディスプレイを支える支柱部とディスプレイ上部のユニットに Web

図 4（上） 選択操作（下） ピックアップ操作

カメラを搭載している. Web カメラには 900 nm 以下の波長をカットするフィルム[7]を装着しており，ペン型デバイス

本稿では図 4 に示すようにペン型デバイスを用いたジェ先端の赤外線 LED から発せられる光を強調して撮影できスチャで操作する 3D ユーザインタフェースを試作した.

るようにしている.

ユーザは画面に表示されたウィンドウ一覧にペン型デバイ
スを滑らせるように移動させることで選択が可能である.

2.2 ソフトウェアの実装

選択を行った後，そのまま上に向かってはじくことでウィ本 シ ス テ ム に 搭 載 さ れ て い る ソ フ ト ウ ェ ア は Unity

ンドウをピックアップし，画面の最前面に全画面表示させ2021.2.15[8]を用いて実装し，Microsoft Windows 10[9]をインることができる. また，ウィンドウが全画面表示された状

ストールしたメインボード上で実行している.

態でペン型デバイスを下に向かってはじくことでウィンド

メインボードに USB 接続された Web カメラにより取得

ウを一覧表示の中に戻すことができる.

した映像を OpenCV により画像処理することによって顔のトラッキングおよびペン型デバイスの位置を特定している．

3. 考察と展望

顔のトラッキングはユーザの顔をカスケード分類器により特定し，その位置を Unity 上のカメラの投影配列に適用© 2023 Information Processing Society of Japan

本稿では，Jinha らによって提案されている二次元操作と三次元操作を融合させたシステム SpaceTop を，安価で製造

354

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

でき，容易に運搬できるシステムとして改良した．この提案システムは拡張の余地を多く持っており，さらなる機能の追加による新しい体験の創出が期待できる．提案システ
ムでは，ペン型デバイスの移動量からジェスチャとして入力を取得しているだけであるが，赤外線 LED の発光パターンを変更することで様々なジェスチャに対応できる．また，ペン移動の軌跡を用いることで描画ツールとして活用することが可能である．これらのような機能を付与することでウィンドウ操作といった一般的なインタラクションだけでなく，モデリングソフトやドローイングソフトなどといったソフトウェアでの活用も可能となることが期待できる．
現在のモデリングソフトの多くは操作に癖があるため習得が困難である．この問題を低減するための研究[10]が行われていることから，このような分野においても本稿の提案システムが活用できる可能性が考えられる．

ディスプレイ面

1C-54
2023/3/1[3] “LattePanda Alpha 864s”.
https://www.lattepanda.com/lattepanda-alpha, (参照 2022-12-20).
[4] “Ultimems SOLUTIONS ピコプロジェクター”.
http://www.ultimems.com/ja/index.html#solutions-ja, (参照 202212-20).
[5] “Ailipu Technology Co.,Ltd, ELP Infrared USB Camera Support IRCut Free Driver 30fps 1080P CCTV Camera Board With 24pcs IRLED”.
http://www.webcamerausb.com/elp-infrared-usb-camera-supportir-cut-free-driver-30fps-1080p-cctv-camera-board-with-24pcs-irled-p-317.html, (参照 2022-12-20).
[6] “サンワサプライ 会議用ワイドレンズカメラ CMS-V43BK”.
https://www.sanwa.co.jp/product/syohin?code=CMS-V43BK, (参照 2022-12-20).
[7] “富士フイルム 光吸収・赤外透過フィルター（IR フィルター）”.
https://www.fujifilm.com/jp/ja/consumer/films/sheetfilter/ir, (参照2022-12-20).
[8] “Unity”.
https://unity.com/ja, (参照 2022-12-20).
[9] “Microsoft Windows”.
https://www.microsoft.com/ja-jp/windows/, (参照 2022-12-20).
[10] Can Liu, Chenyue Dai, Qingzhou Ma, Brinda Mehra, and Alvaro
Cassinelli. AngleCAD: Surface-Based 3D Modelling Techniques
on Foldable Touchscreens. Proc. ACM Hum.-Comput. Interact. 6,ISS, Article 582, pp.1-25, 2022.

ペン型デバイス

図 5

ディスプレイ面でのポインティング機能

現在の提案システムでは，顔のトラッキングに深度カメ
ラではなく一般的な Web カメラを用いているため，画面と顔の距離を測定することが難しい．これを深度カメラに変更することで，より精密に画面の奥行を表現できるようになると考えられる．これにより，図 5 で示すようなペン型デバイスの先端とユーザの視点を結んだ線分とディスプレイ面の交点を取得し，表示面上でポインティングを行う機能を追加できると推測される．
提案システムの拡張の余地を活用し，モデリングソフトをはじめとする複数の分野における既存の問題に対応する機能を付与することで，三次元ユーザインタフェースの可能性がより開拓されることを期待している．

参考文献
Jinha Lee, Alex Olwal, Hiroshi Ishii, and Cati Boulanger.
SpaceTop: integrating 2D and spatial 3D interactions in a seethrough desktop environment. In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (CHI '13).
Association for Computing Machinery, pp.189–192, 2013.
[2] 土江田織枝，林裕樹，山田昌尚，宮尾秀俊. 実影提示を選択可能な影ポインティングシステム. 情報科学技術フォーラム
講演論文集 (FIT). Vol. 15, No. 3, pp.519-522, 2015.
[1]© 2023 Information Processing Society of Japan355