情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-68
2023/3/1

Ctrl + You：操作者のジェスチャーに追従して非接触でゲームコントローラー型デバイスを連動させる試み
春日岳斗†1橋田朋子†1

概要：私たちは⽇常の中でデジタル⼊⼒機器を操作する際，⾃分の⼊⼒動作とそれに付随する⼊⼒機器の動きの対応関係を経験から無意識に理解している．しかし，⼊⼒機器を⼿の中で持ったり動かしたりしながら⽬線を操作対象に向けている操作者は，機器の動き⾃体や動きの対応関係を意識しづらい．本研究ではふだん意識しにくい⾃分の⼊⼒動作と機器の動きの対応関係を⾮接触で機器を動かすことにより視覚的に客観視することを試み，その具体的な⼿法
として，ゲームコントローラー型デバイスを⾮接触で連動させることで体験者の⼊⼒動作を可視化するシステム Ctrl+ You を提案する．本稿では Ctrl + You の提案および実装について述べる．

1. はじめにム“Ctrl + You”を提案する．図 1 に Ctrl + You の概観を⽰す．
体験者が Ctrl + You のセンサ部に⼿をかざした状態で⼀般

私たちは⽇常の中で数多くのデジタル⼊⼒機器を利⽤し的なゲームコントローラーのボタンやスティックを操作すているが，そのほとんどの動かし⽅を無意識のうちに理解る際に⾏うような「押す」「回す」といった⼿のジェスチャしている．例えば，テレビリモコンは指を曲げてボタンをーを⾏うと，その動作を⾮接触でセンシングしてデバイス押下することで操作する，コンピューターのマウスは平⾯のボタンやスティックが連動してオンの状態になったり倒上に置き⼿を動かして機器を前後左右に移動させることでれたりする．

操作する，などというように操作に必要な⾃分の⼊⼒動作

本稿では Ctrl + You の提案および実装について述べる．とその動作に付随する⼊⼒機器の動きの対応関係を理解している．このようなことが可能である理由の⼀つとして，同じような外観と構造を持つものを操作したことがあるという経験が挙げられる．しかしながら実際は，操作者は⼊⼒機器を⼿の中で持ったり動かしたりしており，さらに⽬線を⼊⼒機器ではなく操作対象に向けていることが多いことから，⼊⼒機器の動きを視覚的に意識しているわけではなく，⾝体で覚え理解していると⾔える．
本研究は，この⾝体が経験により覚えている⼊⼒動作とその動作に付随する⼊⼒機器の動きの対応関係を，体験者

図 1 Ctrl + You の概観

⾃⾝が視覚的に客観視できる状況を作る試みである．具体的には，体験者が⼊⼒機器を直接動かすときと同様の動作をジェスチャーで⾏った際に，その動作に応じて⼊⼒機器が⾮接触で動く仕組みを考える．体験者が，⾃分と機器が2. 先行事例
本研究と同様に操作者の動きを可視化する試みや入力機物理的に切り離されていながらも⾃分の動きに追従して機器が持つ意味を利用する先行事例をまとめる.

器が動く様⼦を⾒ている状況で，（1）これまでの経験から

2.1 操作者の動きの可視化

⾮接触であっても⾃分が機器を動かしていると思える，（2）

操作者の動きを可視化する試みは幾つか行われている．

⾃分の⼊⼒動作と⼊⼒機器の動きがどのような対応関係に渡邊らの研究[1]や P055E5510N[2]では，コンピューター画あるのかを直感的に理解できる，といった仮説や効果を期

面内に体験者が操作するオブジェクトおよびそれと同じ見待している．

た目の多数のダミーオブジェクトが提示された状況で，体本研究では，⼊⼒装置の⼀種であるゲームコントローラ

験者は自身の入力動作と画面内のオブジェクトの動きを照ーを取り上げ，体験者が⼀般的なゲームコントローラーをらし合わせることでどれが自身の操作するオブジェクトで操作する⼊⼒動作と同様の⼿のジェスチャーを⾏うと，ゲあるかを探り当てる．これらは体験者が自身の入力動作とームコントローラー型デバイスが⾮接触で連動するシステ

画面内で連動する出力対象の動きの対応関係を理解してい†1 早稲田大学© 2023 Information Processing Society of Japan1052

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

ることを確認する事例であるが，本研究は入力動作と入力

3P-68
2023/3/1

3.1 システムの構成

機器の動きの対応関係に着目する点が異なる．さらに操作

システムはボタン型モジュールとスティック型モジュー

者の動きを記録して可視化する試みもある．TypeTrace[3]でル，制御回路，Arduino Uno，制御⽤ PC および⾮接触型ハはソフトウェアによって時間情報とともに記録されたコンンドトラッキングセンサ（Leap Motion，ultraleap）から構成

ピュータ上のタイピング行為の履歴が，モニターに表示さされる．システムの制御は TouchDesigner（2022.25370）おれる文字列やキネティックキーボードの動きによって可視よび Arduino（1.8.13）によって⾏う．システム構成を図 3化される．本研究は体験者の動作をその場でリアルタイムに⽰す．Leap Motion で取得したユーザーの⼿や指，関節のに可視化する点で異なる．

位置情報データを TouchDisigner で処理し，Arduino に送信

2.2 入力機器の持つ意味を利用する事例することで各モジュールをリアルタイムに動作させる．

人々が経験から知っている入力機器自体の持つ意味を利用する事例を挙げる．人間コントローラー[4]は，ゲームコントローラーとワイヤレスイヤホンを連携させることで，PCあたかも操作する側の人が操作される側の人をゲームコントローラーで遠隔で操作しているように見せる試みである．

Arduino Unoprocesseddata

小人の仕事[5]は，台上のトグルスイッチを倒すとスポットライトがオンになるとともに影絵のアニメーションが映り，アニメーション内の人がスイッチの影を蹴る動作と連動して実際のスイッチも再びオフに切り替わる作品である．本

sensor data

研究は入力機器を操作することで起きる事象ではなく，入力機器を操作する操作者の入力動作自体に焦点を当てていButton / Stick Module

る点で異なる．
図 3 システム構成図

3. Ctrl + You

3.2 システムの動作

Ctrl + You は，ゲームコントローラーを模しボタンやステシステムの動作を簡潔に述べる．操作者は Leap Motion

ィックといった⼊⼒機器の外観的特徴を持ちつつも内部にに⼿をかざした状態で様々な動作をすることで操作する．

電気的に制御可能なアクチュエータが組み込まれておりそ

ボタン型モジュールは指先，指の第⼆関節および⼿のひられ⾃体が⾃律的に動くことができるデバイスを，操作者のの⾼さ情報を⼊⼒とし，ユーザーが⼿のひらの⾼さを⼀定

⼿の動きと⾮接触で連動させるシステムである．図 2 左のに保ったまま所定の指を下⽅に屈曲させる，すなわちボタような⼀般的なゲームコントローラーの操作時と同様の操ンを「押す」動きをすると，対応してボタンが即時的にオ作者の動きとゲームコントローラーの動きの対応関係を，ンの状態に切り替わりオフの状態に戻る．スティック型モ

図 2 右のように操作者が直接動きを伝達することのない状

ジュールは⼿のひらの⽔平⾯上における位置情報を⼊⼒と態で表現する．本研究では，一般的なゲームコントローラし，ユーザーが⼿を前後左右に移動させる，すなわちステーが持つボタンとスティックの動きを表現するため，ボタィックを「倒す」「回す」動きをすると，対応してスティッン型とスティック型の 2 種類の機構モジュールを製作した．

クが倒れたり回転したりする．また，手を検知していない

また，各モジュールを組み込んだ非接触デバイスをそれぞときボタンは動作せず，スティックは垂直に正立して静止れ製作し動作を確認した．その後，両機構をゲームコントする．

ローラーの筐体外装に組み込んだゲームコントローラー型

3.3 ボタン型モジュール

デバイスを製作した．以下に実装の詳細を示す．

ボタン型モジュールはソレノイド（ZHO-0420S-05A4.5）
およびゲームスイッチ（PS-14-G，セイミツ⼯業製）のボタン外装部分からなる．Arduino の制御によってソレノイドが作動し，ボタンの on/off 状態の切り替えを実現する．
このモジュールおよび同モジュール 2 つをシェルに組み込んだボタン型デバイス（図 4）を製作し，簡単に動作を確認した．Leap Motion で取得した筆者の人差し指および中図 2 (左)一般的なゲームコントローラーに対する指のボタンを「押す」動きに対応してそれぞれのボタンが操作者の入力動作即時的にオンの状態になること，他の手の動きに対しては(右)提案システムに対する操作者の入力動作© 2023 Information Processing Society of Japan

ほとんど反応しないことを確認した．

1053

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-682023/3/1

図 4 (左)ボタン型デバイスの外観

図 7 右手の動作に対するボタン型モジュールの動作(中央・右)ボタン型モジュール
3.4 スティック型モジュール
スティック型モジュールはサーボモーター（SG-90，TowerPro 製）2 つ，市販のジョイスティック部品群（三和電子製）および 3D プリンタで製作したジンバル機構からなる．Arduino の制御によってジンバル機構に接続した２つのサーボモーターを作動させ，スティックが 360°⽅向

図 8 左手の動作に対するスティック型モジュールの動作に倒れたり回転したりする動きを実現する．
このモジュールおよび同モジュールをシェルに組み込んだスティック型デバイス（図 5）を製作し，簡単に動作を4. おわりに確認した．Leap Motion で取得した筆者の手の水平面上にお本研究では，人々が経験により覚えている⼊⼒動作とそける位置変化に対応してスティックが倒れたり回転したりの動作に付随する⼊⼒機器の動きの対応関係を，体験者がすることと，手を検知していないときはスティックが垂直視覚的に客観視できるシステムの実現を⽬指し，体験者のに正立して静止することを確認した．

⼊⼒ジェスチャーに応じて⾮接触でゲームコントローラー型のデバイスを連動させるシステム Ctrl + You を提案した．
ゲームコントローラーを構成する要素であるボタンとステ
ィックを模したモジュールを製作して動作させ，⼊⼒動作を⾮接触でセンシングしてその動作に対応する機構の動きを提⽰できることを確認した．その後，実際に提案システムを実装した．

図 5 (左)スティック型デバイスの外観

今後の展望として，ボタンやスティック以外にもスライ(右)スティック型モジュールのジンバル機構ダやダイヤルなどといった⼊⼒機構を新たに製作することや，それらも合わせて Ctrl + You を⽤いたユーザースタデ

3.5 Ctrl + You システムの実装
ゲームコントローラー型の筐体にボタン型モジュール 6つとスティック型モジュール 1 つを組み込んだデバイス（図 6）を製作し，Ctrl + You のシステム全体を実装した．

ィを実施すること，また製作したシステムを⽇常的な場⾯において効果的に応⽤する⽅法などについて検討していく．

参考文献
[1]

Ctrl + You は 1 人のユーザーが両手を用いて操作することを想定しており，操作者の右手の動きに対応してデバイスの 6 つのボタン型モジュールが（図 7），左手の動きに対応してスティック型モジュールが（図 8），同時にそれぞれ並行して動作する．

[2]
[3]
[4]

[5]

渡邊恵太, 樋口文人, 稲見昌彦, 五十嵐健夫. 複数ダミーカー
ソル中における自分自身のカーソル特定. 情報処理学会インタラクション, 2013, p.25-31.
藤木淳. P055E5510N. https://faculty3.scu.ac.jp/fujikilab/data/JUN_FUJIKI_WORKS_web.pdf, (参照 2022-12-8).
dividual inc. TypeTrace. https://typetrace.jp/team.html, (参照2022-12-8).
佐藤ねじ. “PS コントローラーで，人を操作する「人間コントローラー」”. https://note.com/sato_nezi/n/n3885a371466d, (参照 2022-12-8).
遠藤紘也. 小人の仕事. http://hiroya-endo.net/works/the-diligentshadow.html, (参照 2022-12-8).

図 6 ゲームコントローラー型デバイスの外観© 2023 Information Processing Society of Japan1054