情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P01
2022/2/21

視線入力とリップリーディングを用いたハンズフリーインタ
フェース
蘇 子雄1,a)

張 シン磊1,b)

木村 直紀1,c)

暦本 純一1,2,d)

概要：
視線入力は手や音声による操作を必要としないといった利点で特徴付けられており，それに基づいた様々なインターフェースが提案されている．しかし，視線計測器の性能制限や固視微動現象の影響などにより，視線入力の精度はまだ不十分である．一方で，音声入力は同様にハンズフリーな操作方式であるが，公共の場では情報漏洩や周囲に迷惑をかける他，音声認識の精度に依存するなどの制限が挙げられる．そこで
本研究は，視線選択・無声発話操作を併用した手や音声によるそうさを必要としない入力方式 Gaze+Lipを提案する．従来の視線のみの入力方式との比較実験を通して，以下の三つの利点があることを検証した：第一に，視線入力の曖昧さを解消し，誤操作が生じにくい入力を可能にした；第二に，視線選択した上で無声発話で操作することによって，迅速かつ繊細な入力を実現した；第三に, 視線選択から得られたコンテキスト情報を活用し，リップリーディングの認識精度を改善した．最後に，NASA-TLX アンケートによる主観評価を実施し, ワークロードが低減されたことがわかった．

1. 背景
障害者に向けの入力装置や他の作業と同時に進行できるissues [4]）が課題として残されている．最後に，視線入力インタフェースは緻密な制御が必要であるため，長時間の使用する場合は疲労を感じやすい [2]．

操作手段などとして，ハンズフリーインタフェースが多く一方で，音声入力はもう一つのハンズフリーな入力方式の場面に応用されるように追求されてきた．その中で，眼として挙げられる．自然言語を用いてコンピューターを直球追跡技術の発展に伴い，視線入力デバイスの普及が進み感的に操作することができるため，すでに様々なスマートつつある．人間があるオブジェクトを取り扱う前に，本能デバイスに組み込まれている．しかし公共の場おいて，音的にそのオブジェクトに視線を向ける [1]．そのため，遠声によるインタラクションは情報漏洩や周囲に迷惑をかけ隔で選択やクリックなどの操作を行う際において，視線入ることや，認識精度がノイズに左右されてしまう可能性が力は非常に迅速かつ効率的であることが示された [2]．しある．

かしながら，視線入力インタフェースには三つの課題があ

そこで本研究は，視線または音声の利点を取り入れた上，ると考える．まず，固視微動といった眼球運動によって人視線入力とリップリーディング（Lipreading）によるマル間の目の動きの測定は難しく，市販の視線計測器だと± 1

チモーダルインタフェースを提案し，テレビ画面を遠隔で°の範囲では測定結果が不正確になる [3]．この不正確さ操作するプロトタイプ Gaze+Lip を実装した．提案手法では，距離が離れたスクリーン上に射影するとさらにセンチは，視線入力で目標を選択した上，無声発話による細かいメートル級の誤差に拡大される．そのために，細小なオブ操作を行うため，手や音声による操作を必要としない．まジェクトを操作することは困難である．次に，視線入力はた，従来の視線のみによる入力方式との比較実験を設計し，表現力に欠ける．マウスのクリック操作の代わりに，注視定量的かつ定性的な評価を行い，提案手法の有効性を検証

や瞬きなどの目の動きはよく用いられてきたが，この手した．なお，本研究の成果は [5] で詳説されており，こち法では意図しない入力が行われてしまう（”Midas Touch”

らも参照されたい．

12a)b)c)d)

東京大学大学院情報学環
ソニーコンピュータサイエンス研究所
zxsu@g.ecc.u-tokyo.ac.jp
xinleiz@g.ecc.u-tokyo.ac.jp
kimura-naoki@g.ecc.u-tokyo.ac.jp
rekimoto@acm.org© 2022 Information Processing Society of Japan

2. 関連研究
関連研究はマルチモーダル視線入力インタラクションとリップリーディングを用いた無声発話インタラクションの824

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P01
2022/2/21

図 1システムの構成

二つのカテゴリに分類できる．

を用いたインタフェースは，あくまでも一般的な入力方式を補佐するものであり，一部のシナリオにおいてシステム

2.1 マルチモーダル視線入力インタラクションのショートカットとして機能するに過ぎない．さらに，唇視線における課題をモダリティの拡張によって解決すの画像情報だけでは情報量が不十分のため，同一の口形素ることは長年の研究テーマとなっている．その中，ジェス（viseme，唇の動きのパターンの構成単位）にからできたフ

チャー入力は様々な環境において表現力に富んだインタラ

レーズはほぼ不可分である．既存のリップリーディングイクションを提供できるため，視線入力と併用した研究が行ンタフェースは精度を優先にした結果，語彙数が制限されわれてきた．例えば，距離の離れたスクリーンにおいて，視ている．（TieLent では 15 語，Lipinteract では最大 10 語）．

線で選択したオブジェクトをジェスチャーを用いて操作す上記の課題を解決するために，本研究では，視線入力とる手法が考えられた [6] ．また，直接的な操作の他に，選択リップリーディングによる無声発話を相補的な手段として段階にジェスチャーを導入し，細かにオブジェクトに対し結合し，Gaze+Lip と呼ばれるマルチモーダルな入力インて選択の精度と速度を改善した手法も提案されている [7]．

タフェースを提案する．

[8] は，タブレットのインタフェースに着眼し，タッチジェスチャーの出力先を視線位置に変更するインタフェースを提案した．しかしながら，これらのジェスチャー入力による手法では，モーションキャプチャーの検知エリアやスク

3. Gaze+Lip：視線入力とリップリーディン
グを用いたマルチモーダルインタフェース
3.1 デバイス構成

リーンの上に手を置かなければならないため，ユーザーの図 1 にシステムの全体構成を示す．ユーザーは 50inch

手の活動が束縛される他，疲労が生じやすいなどの課題が（112cm×65cm）のテレビから 230cm 離れた位置に着座し存在する．

た状態で操作する．Tobii 社の Tobii Eye Tracker 5 [16] により取得したテレビ画面上の注目点を視線入力として用い

2.2 リップリーディングに基づいた無声発話インタラク
ション

られる．リップリーディングは市販のビデオカメラで得られた映像（フレームレート 30，サイズ横 800 ｘ縦 600 ピク

深層学習によるリップリーディングは，視覚情報によりセル）により実装する．視線計測器とビデオカメラはミニ

口唇の動きのみを用いて発話内容を認識することである．

三脚で固定し，常に被験者の正面 60cm の位置から撮影す

音声情報を使用しないため，発声インタラクションの欠点るように設置される．取得されたデータは，直接接続してを回避できる．近年，深層ニューラルネットワークを用いいる Windows 10 PC により処理し，ユーザーの入力結果たリップリーディングに関する研究は飛躍的に進んでおをテレビの画面に反映する．

り [9], [10], [11]，様々な大規模なデータセットが作成されている [12], [13]．しかしながら，リップリーディングを3.2 視覚情報による発話検出用いたインタラクションに対する議論はまだ不十分であIn the wild の実験を通じて実環境における性能を評価する．木村ら [14] は胸部に装着するビデオカメラを用いたるため，視覚情報による発話検出を行い，発話時のみの口ウェアラブルリップリーディングデバイスを提案してい唇映像を抽出する．具体的に，ビデオカメラにより正面かる．Lipinteract [15] では，リップリーディングシステム

ら撮影された映像の各フレームは，Dlib [17] を用いて顔のをスマートフォンに実装し，タッチ操作と併用する入力方ランドマーク推定を行う．推定されたランドマークに基づ式を提案している．前述のようなリップリーディングのみいて，口唇領域の座標と開口角度を計算する．特に，開口© 2022 Information Processing Society of Japan825

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P01
2022/2/21

オを想定し，YouTube のウェブサイトを閲覧するときによく使われる 27 個のコマンドを認識対象として設定する（表 1）．

3.5 データ収集構築した認識手法を評価するために，6 人の実験参加者（女性 5 人，男性 1 人）を募集した．すべての参加者は視線や無声発話による入力インタフェースを使用した経験を有してない．リップリーディングモデルの学習データを収集するため，各参加者に 27 個のコマンドを無声で発話
図 2

リップリーディングに用いるニューラルネットワークの構成させ，データ記録する．一回につき一つのコマンドがテレビ画面上に提示され，参加者はそれを見ながら無声で読み表 1上げるように指示される．コマンドの提示される順番はラGaze+Lip に用いた 27 種類のコマンドンダムであり，画面上における出現位置も毎回変わる．こwatch later

add to queue

homepagego back

go forward

scroll up

scroll down

trending

subscription

library

れによって顔の傾きの影響を取り入れ，モデルの汎化能力

original

play

stop

previousnextを向上させる．データ収集の準備段階では発話検出に用いexpandvolume up

volume down

captionfull screen

likedislike

share

save

deleteる開口の閾値の測定を行う．参加者は発話しない状態でテ

notiﬁcation

proﬁleレビ画面の四隅をそれぞれ 5 秒間注視し，その間の開口角度の最大値 M が記録される．開口角度の閾値 T は値

角度は上唇と下唇の隙間の高さと幅の比率として定義され

T = M + 0.02 として決められる．参加者は，発話を正確る．さらに，実験の準備段階では，被験者ごとに違う閾値にできた場合は Space キーで保存して次のコマンドに進（算出方法は後節により説明される）が決定され，実験中でみ，間違えた場合はキーボードの R キーでやり直すことがはこの閾値とリアルタイムの開口角度を用いてユーザーができる．27 個のコマンドを 1 セットとし，各セット終了後発話しているかを判定する．被験者の開口角度が連続 20に 1 分間の休憩を挟み，計 18 セットを行った．最終的に，フレーム閾値を超えると口唇領域にクロップされた映像の各参加者から 486（= 27 × 18）回の発話データを収集した．

録画が開始し，開口角度が連続 20 フレーム閾値 T を下回ると録画が終了する．録画開始する前の 20 フレームも保存される．

3.6 リップリーディングモデルの学習収集されたデータを用いて，各参加者ごとのリップリーディングモデルを訓練した．さらに，各フレームシーセン

3.3 エンドツーエンドリップリーディング

スに以下の 5 種類のデータオーグメンテーション手法を適

リップリーディング（視覚情報によるスピーチ認識）のた用いた：Random Time Shift, Random Rotation, Random

めに，スペイシオウテムパラル・コンボリューション・ネッ

Resize, Random Color Jitter, Random Frame Drop．一回

トワーク（Spatiotemporal Convolution Network, SCN）”R分の学習は batchsize 8 で 20 epoch まで実施し，Nvidia（2+1）D” [18] に基づいた方法を用いた．”R（2+1）D”でRTX 2080Ti GPU ボード 2 枚で分散学習を行う場合，所要は，3 次元畳み込みを 2 次元畳み込みと 1 次元畳み込みに時間約 10 分である．実験で使われる Nvidia GTX 1080 搭分解することによって計算量を抑えつつ，空間と時間の特載の Windows 10 PC で推定した結果，Dlib による顔認識徴を有効に抽出することができる [19]．そのため，リップとリップリーディング両方の処理時間は合わせておおよそリーデイングを含めた動作認識のタスクによく使われてい134ms である．提案した認識手法を評価するために，Crossる [15], [20]．本研究で使用したネットワークの構成は図 2

Validation 法（fold=9，すなわち訓練データと検証データに示される． 3.5 で収集されたフレームシーケンスは時間の比率は 8:1）を用いて各参加者のデータセット上で精度（t）× 高さ（40）× 幅（80）× チャンネル（3）の Tensor と検証を行った．98.42% ± 1.11% の分類精度が達成できた．

して入力され，Spatiotemporal Conv 層にダウンサンプリングされた後に５つの Spatiotemporal Residual Block によって 1024 次元のベクトルにエンコードされる．最後に，このベクトルは softmax 関数により分類される．

4. 比較実験
本節では，従来の視線のみを用いた Gaze-Dwell 方式との比較実験を行い，以下の三つのリサーチクエスチョンを軸として調査する：Gaze-Dwell に比べて，Gaze+Lip は3.4 サイレントスピーチコマンドの選択
スマートテレビの遠隔操作という日常的な応用シナリ© 2022 Information Processing Society of Japan

表現力の高いサイレントスピーチコマンドを導入したが，RQ1. 入力速度に影響は与えるか．RQ2. より繊細な操作

826

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 3

6P01
2022/2/21

比較実験に用いたパイメニュー選択タスクの GUIは実現できるか．RQ3. 誤操作を抑えられるか．これらの4.2 実験手順

疑問を答えるために，タスクの完成時間，タイムアウト率，評価における順序効果を相殺するために，Gaze+Lip と誤操作の回数の三つの評価指標を測定し，その結果に基づGaze-Dwell のどちらを先に行うかについ 2 通りの提示順いた解析を行う．

序を用意し，参加者を２つのグループに分けてそれぞれ別の順序で実験を行った．各入力条件における実験は以下の4.1 実験条件

手順で行った．最初に，各参加者にデモンストレーション図 3 で示す比較実験用の GUI を開発した．画面上に９を用いて 2 種類の入力方式を説明し，3 分間の自由練習をつのパイメニューが均等に配置されており，視線位置を表実施する．次に，アイトラッカーのキャリブレーションをすカーソル（白い円形）を重ねると 6 個のボタンが周りに行い，パイメニューによるタスクを行う．全部の 27 個の展開されるが，カーソルが外れるとまた閉じてしまう．27

コマンドが一回ずつ目標コマンドとして設定され，これ個のコマンドから無作為に選出された 6 個のコマンドがらの試行を完成すると 2 分間の休憩をとる．休憩中には，それぞれボタンの上に提示され，その中の一つだけが赤文

NASA-TLX [21] のアンケートに回答してもらう．

字になっている．このコマンドに対応するボタンを目標とし，Gaze-Dwell 方式，あるいは Gaze+Lip 方式でクリックすることを被験者に行わせる．メニューが展開された瞬間

5. 実験結果
5.1 定量評価に 5 秒間のカウントダウンが開始し，時間内にタスクを完各参加者から入力方式 2 条件 ×27 試行=54 回の実験デー成できなかった場合は「タイムアウト」として記録され，タが得られた．このデータから算出した各参加者平均の直ちに次の試行に移行する．その間に間違ったボタンをタスクの完成時間，タイムアウト率，誤操作の回数を評価クリックしたことを誤操作として記録される．Gaze-Dwell

指標とした分差分析を行った．（表 2）．タスクの完成時間と Gaze+Lip それぞれの仕組みは以下のように説明する：（F1,6 = 4.45, p = .061）について，平均値で比較すれば

Gaze-Dwell 方式：ボタン領域に視線が 500 ms 以上にGaze-Dwell 方式のほうが入力時間が短いが，有意差が認め停留することでクリックする．この方式では，間違ったボられなかったため，Gaze+Lip は Gaze-Dwell と同等の速タンに視線を停留することによって，誤操作が生じうる．

度で入力する可能性が示唆された（RQ1，RQ2）．一方で，さらに，メニューが閉じないようにするため，操作中にはタイムアウト率（F1,6 = 11.84, p = .0063），誤操作の回数視線カーソルをメニューから離してはならない．

（F1,6 = 5.61, p = .039）について Gaze+Lip の平均値が低Gaze+Lip 方式：ボタンに表示されているコマンドをく，有意差が認められた．したがって，Gaze+Lip はより無声発話で読み上げることによってクリックする．この方繊細な操作を可能にし，誤操作も抑えられたことがわかっ

式では，メニューを視線で展開すると可能なコマンドを確た（RQ3）．さらに，どの指標においても提案手法は標準定できるため，リップリーディングの認識候補をそのメ偏差が低かったことによって，ユーザーに依存しない性能ニューに含まれるコマンドたけに絞ることができる．その有しているが示唆された．

結果，認識精度の上昇することが期待できる．参加者が口を開けると同時に，展開されたパイメニューがロックされ，無声発話の間には視線を自由に動かすことができるため，注視時間が短縮される．

5.2 主観評価
NASA-TLX の結果を図 4 に示す．主観的作業負荷が高いほど測定値が高くなる．平均値で比較する場合，全ての項目において Gaze+Lip の作業負荷が低いことが観測され© 2022 Information Processing Society of Japan827

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P01
2022/2/21

7. 結論
視線入力によって目標を選択し，さらに無声発話で細かい操作を行うハンズフリーインタフェースを提案した．実証実験を通して，提案手法の方が従来の視線のみによる入力方式より正確かつ繊細なインタラクションが可能であることを示した．さらに主観評価の結果は，作業負担が全体的に低いことを示唆した．特に努力 (Eﬀort) と作業達成度
図 4 （a）NASA-TLX によるワークロードの主観評価の結果．（b）(Performance) の項目において，本手法の性能が顕著に優

視線入力を用いてリップリーディングの認識候補を絞り込む越であることが認められた．視線入力と無声発話を併用しことによる精度改善の結果．

た提案手法は，手や音声による操作を必要としない前提で

表 2比較実験で有効性を示すために用いる評価指標 (M± SD).

入力方式

タスク完成時間（ms）

タイムアウト率

誤操作の回数

Gaze+Lip

2290.27 ± 121.59

3.09% ± 4.330%

1.67 ± 1.506

Gaze-Dwell

1876.70 ± 464.76

25.93% ± 15.538%

7.67 ± 6.022

た．特に，Eﬀort （F1,6 = 5.32, p = .044）と Performance

迅速，正確かつ簡単に使用できるため，ハンズフリーイン
タフェースの応用場面をより一層広げることが期待される．
参考文献
[1]

（F1,6 = 8.71, p = .015）の項目では有意差が認められた．
この結果は，Gaze+Lip ではより少ない努力を要求されながら，より高い作業成績を達成できることを示唆している．

[2]

6. 議論・今後の課題
マルチモーダリティによるリップリーディング精度の改善
前節で行った比較実験の他に，視線入力によりリップリーディングの認識範囲を限定したことによる精度の改善[3]について議論する．そのため，実験中のリップリーディング出力を記録し，リップリーディングのみを使った場合，[4]すなわち候補コマンドを 27 種類そのまま絞り込まない場合の認識率も算出した．その結果を図 4（b）に示す．視線入力のコンテキスト情報を活用したことよって，リップリーディングの認識率の平均値が 12.79%上昇したことが[5]わかった．視覚情報には曖昧性が固有しており，高精度のリップリーディングは困難である．そのため，語彙に制限のないサイレントスピーチインタフェースは未だに実現されていない．本研究得られたマルチモーダリティに関する[6]

知見は，無声発話の表現力を拡張する新たな可能性を提示した．
[7]

無声発話の検出
本研究では，開口角度による無声発話の検出を行い，その角度がある閾値を超えたときにリップリーディングが動作する仕組みになっている．しかし，参加者が不意に口を開けてしまう場合や普通に会話するときは誤操作を起きて[8]しまうといった課題が残されている．解決策としては，音声認識に用いられるキーワードスポッティングを模倣した
特定なリップジェスチャーによって始めるリップリーディ
ングシステムなどが興味深い将来課題である．
[9]© 2022 Information Processing Society of Japan

Sibert, L. E. and Jacob, R. J. K.: Evaluation of Eye Gaze
Interaction, Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, CHI ’00, New
York, NY, USA, Association for Computing Machinery,p. 281–288 (online), DOI: 10.1145/332040.332445 (2000).
Zhai, S., Morimoto, C. and Ihde, S.: Manual and Gaze
Input Cascaded (MAGIC) Pointing, Proceedings of theSIGCHI Conference on Human Factors in Computing Systems, CHI ’99, New York, NY, USA, Association for Computing Machinery, p. 246–253 (online), DOI:
10.1145/302979.303053 (1999).
Nevalainen, S. and Sajaniemi, J.: Comparison of three
eye tracking devices in psychology of programming research., PPIG, Vol. 4, pp. 151–158 (2004).
Jacob, R. J. K.: What You Look at is What You Get:
Eye Movement-Based Interaction Techniques, Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems, CHI ’90, New York, NY, USA, Association for Computing Machinery, p. 11–18 (online),
DOI: 10.1145/97243.97246 (1990).
Su, Z., Zhang, X., Kimura, N. and Rekimoto, J.: Gaze+Lip: Rapid, Precise and Expressive Interactions Combining Gaze Input and Silent Speech Commands for Handsfree Smart TV Control, ACM Symposium on Eye Tracking Research and Applications, pp. 1–6 (2021).
Zhang, Y., Stellmach, S., Sellen, A. and Blake, A.: Thecosts and beneﬁts of combining gaze and hand gestures
for remote interaction, IFIP Conference on HumanComputer Interaction, Springer, pp. 570–577 (2015).
Chatterjee, I., Xiao, R. and Harrison, C.:
Gaze+Gesture:
Expressive, Precise and Targeted
Free-Space Interactions, Proceedings of the 2015 ACM
on International Conference on Multimodal Interaction, ICMI ’15, New York, NY, USA, Association
for Computing Machinery, p. 131–138 (online), DOI:
10.1145/2818346.2820752 (2015).
Pfeuﬀer, K., Alexander, J., Chong, M. K. and Gellersen,
H.: Gaze-Touch: Combining Gaze with Multi-Touch forInteraction on the Same Surface, Proceedings of the 27th
Annual ACM Symposium on User Interface Software
and Technology, UIST ’14, New York, NY, USA, Association for Computing Machinery, p. 509–518 (online),
DOI: 10.1145/2642918.2647397 (2014).
Assael, Y. M., Shillingford, B., Whiteson, S. and828

情報処理学会 インタラクション 2022
IPSJ Interaction 2022[10]

[11]

[12]
[13]

[14]

[15]

[16]
[17]

[18]

[19]

[20]

[21]

6P01
2022/2/21

de Freitas, N.: LipNet: Sentence-level Lipreading,CoRR, Vol. abs/1611.01599 (online), available from⟨http://arxiv.org/abs/1611.01599⟩ (2016).
Wand, M., Koutnı́k, J. and Schmidhuber, J.:
Lipreading with Long Short-Term Memory, CoRR,Vol.
abs/1601.08188(online),availablefrom⟨http://arxiv.org/abs/1601.08188⟩ (2016).
Chung, J. S., Senior, A. W., Vinyals, O. and Zisserman, A.: Lip Reading Sentences in the Wild,CoRR, Vol. abs/1611.05358 (online), available from⟨http://arxiv.org/abs/1611.05358⟩ (2016).
Chung, J. S. and Zisserman, A.: Lip Reading in the Wild,
Asian Conference on Computer Vision (2016).
Chung, J. S., Senior, A., Vinyals, O. and Zisserman, A.:
Lip Reading Sentences in the Wild, IEEE Conference
on Computer Vision and Pattern Recognition (2017).
Kimura, N., Hayashi, K. and Rekimoto, J.: TieLent:
A Casual Neck-Mounted Mouth Capturing Device forSilent Speech Interaction, Proceedings of the International Conference on Advanced Visual Interfaces, AVI’20, New York, NY, USA, Association for Computing Machinery, (online), DOI: 10.1145/3399715.3399852(2020).
Sun, K., Yu, C., Shi, W., Liu, L. and Shi, Y.: LipInteract: Improving Mobile Device Interaction withSilent Speech Commands, Proceedings of the 31st Annual ACM Symposium on User Interface Software andTechnology, UIST ’18, New York, NY, USA, Association for Computing Machinery, p. 581–593 (online), DOI:
10.1145/3242587.3242599 (2018).
AB, T. P.: Tobii Pro Lab.
King, D. E.: Dlib-ml: A Machine Learning Toolkit,
Journal of Machine Learning Research, Vol. 10, pp.
1755–1758 (2009).
Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y.
and Paluri, M.: A Closer Look at Spatiotemporal Convolutions for Action Recognition, Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
Ji, S., Xu, W., Yang, M. and Yu, K.: 3D Convolutional Neural Networks for Human Action Recognition,
IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 35, No. 1, pp. 221–231 (online), DOI:
10.1109/TPAMI.2012.59 (2013).
Prajwal, K., Mukhopadhyay, R., Namboodiri, V. P. andJawahar, C.: Learning Individual Speaking Styles forAccurate Lip to Speech Synthesis, Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 13796–13805 (2020).
Hart, S. G. and Staveland, L. E.: Development of NASATLX (Task Load Index): Results of empirical and theoretical research, Advances in psychology, Vol. 52, Elsevier, pp. 139–183 (1988).

© 2022 Information Processing Society of Japan829