情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-282023/3/1

組立作業中の視線を用いた非接触入力によるタブレット操作手法の提案
富田智晶†

赤津裕子†

鈴木雄介†

概要：製造分野で組立作業中に作業内容を示す指示書をタブレット端末に表示し，その表示状況の進捗で作業状況を管理するシステムの導入が進んでいる．しかし，実際の作業をしながら，タッチによるタブレット操作を行うことは作業の妨げになるなど，いくつかの課題がある．また，作業が一通り終わってからまとめて操作され，チェック項目などの大事なページが読み飛ばされていることがある．そこで，非接触かつハンズフリーで作業の妨げにならずに操作ができ，指示書への注視時間を増加できる可能性がある，視線を用いた非接触による入力手法の提案を行う．
本論ではシステムの提案と，システムの効果を検証する実験計画について述べる.

2.1 注視位置を用いた入力

1. はじめに

視線情報の中で特によく利用されるのが注視位置の情報

近年では DX（デジタル・トランスフォーメーション）やである．例えば，注視位置が特定のターゲット領域（以下，スマートファクトリーの推進，ペーパーレス化の動きもあ

視線入力 UI）に留まることで入力を実行する．視線を入力り，タブレット端末に組立作業の指示書表示を行う工場が手段として用いる場合，ユーザが注視によって入力を行い増えている．製造業の工場では，タブレットは作業台に固たいのか，単に眺めているだけなのかを判断できないため定されている場合が多い．タブレットを用いることで紙資にミダスタッチ問題[1]という意図しない入力が生じてし源の削減や情報の管理・更新のしやすさといった利点の他まう恐れがある．この問題は，注視型入力を採用する際にに，指示書のどのページを見ているかの情報を利用して作は避けては通れない問題であり，対策を講じる必要がある．

業進捗を管理することが可能となっている．しかし，組立

磯本ら[2]は，入力対象 UI のある範囲内にばらつき無く注作業中のタッチによるタブレット操作にはいくつかの課題視点が一定時間以上留まっている時に入力実行とする手法がある．

を提案した．これにより例えば，対象 UI 上に注視点が入っ組立作業中の道具を持ったままでのタッチ操作は困難ているが，対象 UI 内の文字をただ読んでいる際には入力であるために作業の妨げになり，作業効率が低下してしまが実行されないため，ミダスタッチ問題の発生可能性が軽う．慣れた作業者の中には道具を手に持ったまま操作して減される．

しまう場合があり，安全面の問題となりうる恐れがある．

また，注視による入力では小さい選択対象が密集してい

また，一通りの作業を行った後に，まとめてページ送りをる場合に入力が困難になるという課題がある．崔ら[3]は，されている場合がある．その結果，組立指示書内にあるチ

視線入力のカーソルにバブルカーソルを適用した Bubble

ェック項目が記載された確認画面などの重要なページを読Gaze Cursor を提案した．これは，バブルカーソルのターゲみ飛ばしてしまうことがある．

ットを必ず 1 つだけ含む大きさに最大半径の中で変形する

これらの課題を解決し，生産性向上を図るために，作業という特徴を活かし，ただ一つの対象を選択できるように中でも操作が容易で，作業の妨げにならない非接触入力手している．大塲ら[4]は，注視の滞留を検出する手法と，動法の提案を行う．また，視線を入力に用いることで作業者く対象を追従する方式を組合せる 2 段階入力の方式を提案

が指示書に意識を向けられるようになり，チェック項目のした．この方式では，密集した選択対象の中から選択した

確認画面のページを読み飛ばさないようになる効果を期待

い対象付近を滞留方式によって範囲選択する．次に選択さし，提案する非接触入力手法の効果を検証する実験を行う．

れた範囲内の対象がそれぞれ別方向に移動し，そのいずれ2. 先行研究かを追従することで選択が完了する．

操作対象への直接的な接触を必要としない非接触入力手法はこれまでも多く研究をされており，視線情報を用いた手法以外にも，ハンドジェスチャやフットペダルなどの手足の動きを用いた入力手法などがある．以下にそれらの研究を挙げる．
†沖電気工業(株)2.2 頭部動作（瞳孔位置）を用いた入力
橋本ら[5]は，車載用途や福祉用途での利用を想定したキャリブレーションフリーな入力手法として瞳孔の位置変化を入力に用いた．この手法は，頭部が一定範囲でのみ移動することを前提条件とし，画面の中心軸を起点に横方向への瞳孔移動量に応じて画面操作を行うものである．頭部がイノベーション推進センター© 2023 Information Processing Society of Japan587

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

一定範囲でのみ移動する状況での利用が前提となっている
ため，今回のような組立作業中の作業者の利用には向かな
い．
石村ら[6]は，頭部が動く状況である，歩行中に頭部動作を用いた入力を行う手法を提案している．眼鏡に取り付けた 9 軸加速度センサから頭部動作の角速度を取得し，その値の変化と動作時間から頭部動作を判別（頷き・首振り・首傾げ）している．しかし，このようなウェアラブル端末の装着は作業中の作業者にとっては負担になる．
2.3 瞬きによる入力
春山ら[7]は，入力決定時のクリックの代替として瞬きを行う手法を提案した．しかし，瞬きには随意性と不随意性があり，不随意性の瞬きは抑制できないため，入力動作のための随意性の瞬きとの判別を行う必要がある．春山らは，随意性瞬きと不随意性瞬きには目を閉じている時間に差があるという特徴があるとして判定に用いた．しかし意図的な瞬きは，画面からの情報取得時間が相対的に短くなることや，頻繁に行うと眼球を疲労させてしまうため，作業中の利用には適していない．
2.4 ハンドジェスチャによる入力
中州ら[8]は，手を自然に払ったり振ったりすることで，その動作に応じて表示画像の切替えや上下左右移動ができるような UI を提案している．この方法は，前方に取り付けられたカメラで得られた画像から手の位置及び手の形状識別を行い，払い・握り・振りといったハンドジェスチャを認識している．

2B-28
2023/3/1

3. 提案手法
先に挙げたタブレット操作が作業の妨げになる，確認画面などの重要ページが読み飛ばされてしまう，といった課題を解決するべく，視線情報を用いた非接触入力手法として，頭部動作入力及び注視入力の 2 案を提案し，その概要を以下に述べる．
3.1 頭部動作入力
視線計測装置によって取得された瞳孔の位置から，頭部動作を推定することで，首を左右のいずれかに振る動作によってページ送りの操作を行う手法である．本提案手法では，首を左に振ることでページを進め（図 1），右に振ることでページを戻るという入力を割り当てた．注視位置を取得する場合，画面上の複数点を注視して視線方向推定結果を較正するキャリブレーションを，使用する度に毎回行う必要があり，視線操作装置の利用における課題となっているが，本提案手法では，瞳孔の位置の変化のみを入力に用いるため，キャリブレーションは不要である．
しかし，常時首振り動作の検出を行っていると指示書の閲覧時や作業中の些細な頭部動作が首振りとして検出される恐れがあるため，入力を開始するためのトリガや，意図した首振り動作以外を誤検出しないためのフィルタの設定が必要である．入力を開始するためのトリガとしては，物理スイッチを用いる方法や，視線を用いた別手法との組み合わせなども考えられるが，頭部動作入力の利点である「入力に腕を使わない」，「キャリブレーションフリー」を失わせないためにも，同じ頭部動作を用いることが望ましい．

カメラを用いる手法以外の方法として，赤外線カメラを用いた手指のトラッキングに特化した Ultraleap 社製のLeap Motion がある[9]．また，カメラ画像からハンドジェスチャを識別する方法として，Media Pipe という Google 社が⇒提供するオープンソースの機械学習ソリューションフレー
ムワーク[10]などもある．
2.5 足を使った入力
手によるタッチを必要としない入力手法として，足元に設置したフットペダルを利用する方法がある．萱間ら[11]は，暗証番号の入力にフットペダルを用いている．フット

図 1

頭部動作入力の操作(ページを進める場合)は手が塞がった状態のユーザを想定し，深度センサと小型プロジェクタをユーザの胸部に取り付け，足元に要映されたコンテンツを踏むことによってスマートフォンを操作するシステムを構築し，ユーザビリティなどの調査を行った．
両手を荷物などで拘束した状態でボタン選択のような簡易な操作を行う場合，正確さの評価はやや低いものの，素早さと煩わしさでは通常のタッチ操作と比べて評価が高いという結果であった．これらの足を用いた入力では，足元に

左← 移動量(x) →右ペダル以外を用いた足による入力手段として，酒田ら[12]

x

経過時間

ペダルなどの機器を置くスペースなどが必要となり，既存スペースへの導入が難しい場合がある．

© 2023 Information Processing Society of Japany

図 2

首振り時の頭部位置座標の変化

588

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-28
2023/3/1

意図した首振り動作以外を誤検出しないためのフィルタに

仮説 2

手を使わないことで道具を持っている状態でもは，図 2 に示すように首振り動作時は x 軸方向の動きのみ操作が可能であるため作業の妨げにならず，使いやすさがで，y 軸方向にはほとんど動かないという特徴から，y 軸方従来手法より向上する．

向の移動量に対するフィルタを用いることとした．
しかし，瞳孔位置取得による頭部動作の検出には課題もある．今回使用する視線計測装置は，角膜反射法をもちいている．しかし，ユーザが眼鏡を着用している場合，首振指示書表示領域

り時に視線計測装置と顔に角度がつくと眼鏡に環境光が反射してしまい瞳孔位置を取得することが困難になってしまう．計測装置や利用環境が本提案手法と異なるため一概に比較はできないが，張らからは[13]，眼鏡着用時には検出率が 18%まで低下したという報告もある．そのため，ユーザ

図 3

注視入力の画面例

が眼鏡を着用している場合の対策を考える必要がある．
3.2 注視入力
著者らの先行研究[14]から，図 3 のように画面内に配置
ディスプレイされた視線入力 UI を一定時間注視することでそれぞれの視線入力 UI の応じた操作を行うこととした．視線入力 UI上を注視すると，視線入力 UI の周囲に円環状のゲージが表示され，注視時間の増加に伴ってゲージが増加する．今回は，組立指示書のページ操作を行うので，ページを進め視線計測装置るか戻るかの操作をそれぞれに対応させて 2 カ所に視線入力 UI を配置している．この手法では，正確な注視位置の取得が必要となるためキャリブレーションを実施する．
入力に必要な注視時間が短いとミダスタッチ問題が生じてしまうため長めに設定する必要があるが，逆に長すぎると煩わしさを感じてしまう．今回の実装では，入力に要する注視時間は先行研究[15]を参考に 1 秒と設定をした．

図 4

利用環境

また，視線入力 UI が指示書を表示する領域と被らないように設定する必要があるため，図 3 のように組立指示書表
示領域の左右に視線入力 UI を配置した．

4. 実験
4.1 目的提案手法を組立作業時のタブレット指示書の操作に適用し，本実験で次の仮説の検証を行う．
仮説 1

視線情報を用いることで，タブレット指示書への注視時間が増加し，チェック項目の確認画面などの重要項目ページを読み飛ばさないようになる．

図 5
表 1

評価実験用コンテンツ

実験条件表

タッチ

注視

頭部動作

入力時の接触有無

接触

非接触

非接触

非接触

非接触

センサ種類

―

Tobii

Tobii

Leap Motion

フットペダルキャリブレーション

不要

必要

不要

不要

不要

道具を持った状態での操作△〇〇×〇

作業中の操作負担

高低低高高操作時の画面注視不要

必要

必要不要

不要

導入難易度

低中低低高

© 2023 Information Processing Society of Japan

ハンドジェスチャ

フットペダル589

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

4.2 想定利用環境
本提案手法は，工場における組立作業中の立位状態の作業者が，指示書を表示するタブレットのページを操作する際に使用することを想定したものである．想定している利用環境は図 4 に示す通りで，おおよそ作業者の目線の高さで あ る 約 150cm の 位 置 に タ ブ レ ッ ト デ ィ ス プ レ イ(13.6inch)を設置する．視線の計測には，トビー・テクノロ
ジー株式会社（Tobii Technology K.K.）が提供する視線計測装置（Tobii Pro Fusion）を用い，ディスプレイ下部に設置した．作業者からディスプレイまでの距離は，視線計測装置の計測範囲[16]を考慮して 70cm~80cm 程度になるように設定してある．
4.3 実験条件
実験では提案手法の 2 条件に加え，コントロール群としてタッチによる入力の条件を行う．さらに，他の非接触入力手法との比較を行うため，手や足をそれぞれ使用するハンドジェスチャによる入力とフットペダルを使った入力の条件も加え，表 1 に示すような全 5 条件で実験を行う．
4.4 実験コンテンツ
実際の工場での組立作業の工程に含まれる作業を簡易的に再現できるように，図 5 のような簡易キットを作成した．このキットを用いて，実験参加者にドライバーなどの道具を使用したねじ締めや配線の作業を行ってもらう．条

2B-28
2023/3/1

な頭部ジェスチャインタフェース. 電気・電子・情報関係学会東海支部連合大会. 2014[7] 春山裕樹，小澤奈穂，瀬川辰之佑，高橋則行，中沢信明，松井利一. 瞬き操作に基づいた文字入力システムの構築. LIFE
2016. Pp.338-340[8] 中洲俊信，大平英貴，池司，大内一成，岡田隆三. 自然な手振りによる直感的なハンドジェスチャ. ヒューマンインタフ
ェース学会. 2013. Vol.15, No.1 pp.25-38[9] “ultraleap Leap Motion Controller”.
https://www.ultraleap.com/product/leap-motion-controller/(参照2022-12-16)[10] “MediaPipe Hands”.
https://google.github.io/mediapipe/solutions/hands(参照 2022-1216)[11] 萱間惇平，柏木音羽，安藤史織，田中元晴，岡本学. 肢体不自由者向け暗証番号入力方式の提案. HIS2022. pp.332-333[12] 酒田信親，佐藤文宏，冨永登夢，土方嘉徳. ウェアラブル
手足入力インタフェースの有用性の調査. システム制御情報学会. 2018. Vol.31, No.3, pp.112-120[13] 張翔，池松香，加藤邦拓，杉浦裕太. ReflecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定. WISS2022[14] 富田智晶，鈴木雄介，赤津裕子. 物件情報システムにおける視線興味推定の検証と視線入力 UI の配置に関する検討.
HIS2022[15] 夏目達也，内村裕也，柴田史久，木村朝子. VR 空間操作コ
マンドとしてのアイジェスチャ UI 特性分析（1）～単一アイジェスチャの UI 特性分析～. 情報処理学会研究報告. 2021.
Vol.2021-HCI-192, No.12[16] “Tobii Pro AB Tobii Pro Fusion”.
https://www.tobii.com/ja/products/eye-trackers/screen-based/tobiipro-fusion(参照 2022-12-13).

件ごとの作業時間が 10 分程度になるような作業内容で指示書を作成する．

5. おわりに工場における組立作業中の立位状態の作業者が，指示書を表示するタブレットのページを操作することを前提とした視線を用いた非接触なタブレット操作手法を提案した．
視線情報を用いた提案手法に加え，従来のタッチ操作や他の非接触入力手法を加えた条件で評価検証を行い，タブレット操作が作業の妨げになる，確認画面などの重要ページが読み飛ばされてしまう，といった課題を解決する仮説が採択されるかの検証を行う予定である．

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

Jacob, R. J. K., & K., R. J. The use of eye movements in humancomputer interaction techniques: what you look at is what you get.
ACM Transactions on Information Systems, 1991, 9(2), p.152–169
礒本俊弥，山中祥太，志築文太郎. 時間および範囲をもとに認識する凝視に基づく操作手法. WISS 2020
崔明根，坂本大介，小野哲雄. Bubble Gaze Cursor：バブルカーソル法の視線操作への適用. 情報処理学会論文誌. 2020.
Vol.61, No.2, pp.221–232
大塲洋介，島田雄輝，宮下芳明. Dwell and Pursue:注視すると移動するターゲットを視線で追従するポインティング手法.
WIS2020
橋本晃司，古本浩章，後藤孝文，門藤至宏. キャリブレーシ
ョンレスでの視線操作，及び福祉用途の検討. 広島県立総合技術研究所西部工業技術センター研究報告. 2017, No.60, p.1619.
石村昇平，廣井慧，梶克彦，河口信夫. 歩行中でも利用可能© 2023 Information Processing Society of Japan590