研究報告書概要 2019 実施

人間と遊び

深層カプセルネットワークを用いた高精度アイトラッキングとユーザ情動推定への応用
筑波大学システム情報系
助教 河合

1． 研究課題の概説

新も変化が生じていることは想像に難くない。特に、スマートフォ

本研究課題の目的は、1) スマートフォンのインカメラをターンの普及はインターネットへの接続を容易とし、オンラインでのゲットデバイスとした深層カプセルネットワークを利用した高ゲームによる人や社会とのつながりを密にしてきている。
そのた

精度アイトラッキング技術の開発と2) そのデータを用いた情動め、これらのゲームが果たすべき役割を明らかにすることは、ゲ推定手法の開発によって、ゲームとユーザ・社会の関わりを評価ームとユーザ・社会との関わりを考えるために重要な項目であるするために必要な基礎的な技術を実現すること、の2点である。と考え、本研究ではこれを対象と想定した。

スマートフォン上のゲームとユーザ・社会との関係を明らかにす

本研究課題の目的を達成するため、本研究では、i) 深層カプセるためには、ゲームがユーザに与える影響の解析が必要である。

ルネットワークの学習時間短縮手法の提案、ii) AI 的アプローチ

本研究課題では、そのような解析手法としてアイトラッキングにによるアイトラッキング技術精度改善のための可視化手法の提よる情動推定を提案する。
アイトラッキングとは人の視線移動を案、の2項目を実施した。スマートフォンのインカメラのアイト計測する技術である。
この計測に従来は大掛かりな計測装置を必

ラッキング技術の開発は、MIT が先駆けとなっているが、十分要としており、そのため、多くのユーザの情報を収集し解析するな精度が得られていない。その原因として、空間情報を失ってしことは困難であった。
この計測をスマートフォンのインカメラでまう畳み込み NN の使用が考えられる。そこで、本研究では深実現できれば、あらゆるスマートフォンユーザの情動推定が可能層カプセルネットワークを用いることで、従来よりも高い精度をとなる。

実現する。また、カプセルネットワークをアイトラッキングというタスクに用いること自体がこれまでにない、新しい独創的な枠

スマートフォンのインカメラをアイトラッキングのターゲッ測が容易で身近なものとなってきているためである。
近年スマー2． 深層カプセルネットワークの学習時間短縮手法の提案

トフォンの保有状況は5 年間で約4 倍になるなど、その普及が畳み込みニューラルネットワーク (Convolutional Neural2

急速に進み、1人が1台を持つ情報端末としてその地位を確固た

Network: CNN) は画像認識の分野で一般的な手法として広くるものとしてきている。それに付随して、スマートフォンはもっ認識され使用されているが、幾つかの欠点も指摘されている。とも身近であり、かつ、その使用に抵抗のないデバイスとなってCNNは、特徴検出を行う畳み込み層とシフト不変性のためのプきている。また、従来のアイトラッキングのデバイスは、いずれーリング層を繰り返す構造によって線の傾き、太さや色などの低も高価かつユーザをなんらかの形で拘束するものであった。
一方、レベルの特徴を認識し、これらの特徴から顔画像などにおける目それらに比べてスマートフォンは安価かつ拘束がないという特や口などの高レベルの特徴を認識する。一方、CNNは同じオブ徴があり、生体情報計測デバイスとしても最も理想的なものであジェクトであっても異なる姿勢のときに正しく認識するためにると言える。この様な状況を鑑み、本研究ではスマートフォンのは、大規模なデータ拡張と非常に深いネットワークが必要になるインカメラをアイトラッキングのためのデバイスとして使用しことが知られている。これは、CNNのプーリング層が抽出したた。

特徴間の位相構造を保存しないため、同じオブジェクトでも姿勢︵１年間︶助成研究Ａ組みでもある。

トデバイスとした理由は、スマートフォンを用いた生体情報の計

58

また、対象をスマートフォンの上で駆動するゲームとした理由が異なると全く異なる内部表現になるために生じている。
そのたは、これらのゲームの普及にある。スマートフォンの普及に伴っめ、様々な姿勢に対応する認識を実現するためには CNN ではて、スマートフォン上で駆動するゲームの利用者も増えている。

学習に非常に時間を要する。

例えば、そのようなゲームで遊んだ経験者は 68.9%という統計

CNN のこの様な問題の解決として、Google Brain のチーム報告がなされている。したがって、これらのゲームの利用動向にによって提案されているカプセルネットワーク (Capsule- 1 -研究報告書概要 201財団レポート
9 実施

2019・2020

Network: CapsNet) に本研究では着目する。CNN の中間層でただし、CNNを使用したディープラーニングの推論プロセス

ある特徴マップのピクセルは、対応する場所に特徴が存在していはブラックボックスであるため、推定が正しい場合でも、その判るか否かを出力する。一方、CapsNet の中間層であるカプセル断の背後にある推論を決定することはできない。そして、モデルは、オブジェクトの部分の情報をベクトルとして出力する。の推論の根拠が明確でないため、ユーザはモデルが適切に特徴を

これまでのCapsNetは学習に非常に時間を要しているが、こ捉えた上で目の特徴を推定しているかどうかを判断できない。
しれを解決し CNN が大規模なデータ拡張と非常に深いネットワたがって、ディープラーニングでは、モデルの視覚化はモデルのークを必要とする問題を解決できうる。従来のCapsNetが学習パフォーマンスを評価する上で不可欠な要素である。に時間を要する原因は、CapsNet が分類クラスごとに特徴空間

Grad-CAM は、CNN がどこを調べて何を推定したかを可視を生成するため、クラスが増えるほどパラメータが増大すること化する方法である。
複数の出力をもつ多クラス分類や確率的出力である。しかしながら、CapsNet はカプセルに姿勢を含むオブなどの問題に使用できる。Grad-CAMは、特徴マップに関するジェクトの特徴を保持するため、同じオブジェクトであれば異な出力の勾配の符号が正である位置を視覚化する。ただし、勾配のる姿勢であっても正しく認識できると考えられる。そのため、異符号が負であっても視覚化が必要な場合があるため、視線推定のなる姿勢のオブジェクトを正しく認識するために CNN では必回帰問題には適用できない。
本研究では、CNNを用いた視線推定モデルを可視化する回帰要であった大規模なデータ拡張と深いネットワークが不要であ問題にGrad-CAM を利用できる新たな可視化手法を提案する。

る。
そこで、本研究ではCapsNetのパラメータを削減することで、提案された方法は、勾配の符号を考慮して、推定に使用される特学習時間の短縮を図る。そのための手段として、CapsNet の一徴を視覚化できる。提案する可視化手法は、2次元の値を出力す部にL1正則化を適用し、その後、閾値以下の値を0とすることる回帰問題に使用できる。

によるスパース化をCapsNetの学習手法として提案する。
また、提案されたGrad-CAMの拡張によって、視線推定モデルの可副次的な効果として、パラメータの削減によって単純で過学習に視化を実行できた。その結果、データのクレンジング、画像のカ強いモデルの獲得が期待できる。

ッティングテクニックの改善、および入力画像の削減が、モデル従来手法に比べ提案手法ではパラメータの削減とテストデーの精度向上と軽量化のために必要であることを明らかにした。
今

タの微小変形の有無に関わらず精度の向上が確認できた。
これは後、入力画像の推定結果への寄与を調べ、手法の有効性を高める。

提案手法によって過学習が抑えられ、CapsNet の汎化性能が向4． おわりに上したためだと考えられる。

本研究課題は、1) スマートフォンのインカメラによる深層カームとユーザ・社会の関わりを評価するために必要な基礎的な技を容易に反映していることから、その推定が望まれ多くの研究が術を実現すること、の2点を目的として、i) 深層カプセルネット

2なされている。
視線には表情から読み取れない人間の内部情報がワークの学習時間短縮手法の提案、ii) AI 的アプローチによるア含まれている。そのため、視線を正確に測定できれば、その情報イトラッキング技術精度改善のための可視化手法の提案、の2項は情報推薦や医学など幅広い分野で活用できる。特に、スマート目を実施した。これらの成果により、視線推定を大掛かりな従来デバイス¥cite{Smartpho25}を使用して推定できる場合、視線情の計測装置ではなく、スマートフォンのインカメラで実現しあら報は多くの分野でイノベーションを促進することが期待できる。

ゆるスマートフォンユーザの情動推定を可能とする基盤を開発

プセルネットワークを利用した高精度アイトラッキング技術の開発と2) そのデータを用いた情動推定手法の開発によって、ゲための可視化手法の提案︵１年間︶

視線には人間の情動に関する重要な情報が含まれており個性

助成研究Ａ

3． AI 的アプローチによるアイトラッキング技術精度改善のした。

本研究では、概観ベースの視線推定手法の1種であるCNNを使用する手法に焦点を当てる。視線推定には、モデルベース（瞳共同研究者

孔の向きを使用して視線を推定）と外観ベース（眼の画像から視筑波大学システム情報系 准教授 延原 肇

線を推定）の2つの方法がある。概観ベースの1種であるCNNを用いた手法は、顔の画像と注視位置で構成される大規模なデータセットを学習して視線を推定する。この手法では、視線を推定するのに人が判断して使用するのが難しい微細な特徴を捉えられる。また、多数のパターンを学習することでロバストな推定が可能である。

- 2 -59