WISS 2017

発達障害児介入現場のための視線可視化によるビデオコーディング支援樋口啓太* 松田壮一郎** 神窪利絵* 榎本拓哉† 菅野裕介†† 山本淳一† 佐藤洋一*

概要． 本研究では，発達障害特に自閉症スペクトラム障害(ASD)の児童への介入による支援を行う研究及び臨床現場のための，ビデオコーディングによる評価を効率化するユーザインターフェースを提案する．ビデオコーディングは介入の効果を測定するために頻繁に行われるが，児童のアイコンタクトや共同注意などの視線方向に基づく注意行動の測定には労力を要する．そこで本研究では，コンピュータビジョン技術による視線方向解析の結果を可視化することで，ビデオコーディングを効率化するインターフェースを提案する．本インターフェースは可視化に加えて，探索対象となる注意行動の発見を支援する機能を提供する．ユーザ実験から，視線の推定精度が完全でない場合においても，提案インターフェースが提供する機能により，ビデオコーディングを効率化できることを確認した．

1  はじめに

AutismandDevelopmentalDisabilities
Monitoring (ADDM) Network の報告によると，2016 年現在 68 人に一人の児童が自閉症スペクトラム障害(ASD)と診断されている[1]．ASD 患者には，社会的なコミュニケーション能力欠如や限定的・反復的な行動といった症状が見られる．それらの症状が原因により，しばしば社会的な課題に直面することがある．
ASD の症状を緩和するためには，幼児期からの介入支援が重要だと言われており，介入方法が積極的に研究され，実際の支援現場に導入されている．支援現場では対人コミュニケーション能力の改善のために，児童のアイコンタクトや共同注意形成などの促進を目的とした介入を行っている．介入効果測定のために介入を撮影した映像が用いられることがあるが，視線移動などの細かい動作を発見する必要があることや，介入映像が長時間化することから，多大な労力が必要となってしまう．
コンピュータビジョン領域において，人間の注意方向や社会的コミュニケーションを推定するための技術が盛んに研究されている．RGB 映像のみから人間の視線方向を推定するためのデータに基づく解析技術[2]や，ウェアラブルデバイスを用いたアイコンタクトの検出技術[3]などが提案されている．一方で，発達障害児童への介入現場などの統制がとれてない環境で撮影された映像を，解析し自動で評価をすることはまだ難しい．
そこで本研究では，解析技術により推定した人間
Copyright is held by the author(s).
* 東京大学，** 筑波大学，†慶応大学 ，††大阪大学の注意状態を可視化することにより，ビデオコーディングタスクにおいて人間の判断を助けるユーザイ
ンターフェースを提案する．本インターフェースは推定結果の可視化をするだけでなく，ユーザの定義したラベルに基づき，推定結果から目的とする注意状態に近いビデオフレームをハイライトする機能を提供する．これらの機能により，長時間に及ぶ介入現場の映像から，ASD 児童によるアイコンタクトや共同注意など特定の注意行動の発見を支援する．

2  提案インターフェース

図 1 に提案インターフェースの外観を示す．本インターフェースは GUI コンポーネントとして，映像再生画面，ハイライト機能搭載タイムライン，アノテーション機能などを持つ．
2.1  前処理 – 視線解析

提案インターフェースでは入力された動画に対して前処理として，対象児童の顔検出と顔向き推定，さらにその結果を利用した視線方向解析をする．顔解析には，OpenFace [4]というオープンソースライブラリを利用している．視線方向の推定には，Zhangらの全顔領域からの推定技術[2]を用いる．これらにより，児童の顔画像領域と顔向きの情報，さらに対象の視線方向を三次元情報として得ることができる．
2.2  視線推定結果の可視化

前処理にて取得した顔及び視線情報を映像再生画面に提示する．箱型の描画により顔の位置姿勢情報の可視化する．視線の可視化として，顔の中心座標から，推定された視線方向に線を描画する．この視線の長さはユーザが自由に設定できる．

WISS 2017

図 3．ユーザビリティテストにおける主観評価結果
図 1．提案インターフェース (写真は定型発達児童)

バルコーディングをタスクとした．
実験条件として，視線可視化及びハイライト機能を利用しない None，視線可視化とサンプルに基づ
くハイライトを利用する Sample，視線可視化と画面エリアに基づくハイライトを利用する Region を比較した．また，交互作用を抑えるよう被験者と条件を配置した．
3.2  図 2．探索候補のハイライト機能．(A1-2) サンプルに基づ
くハイライト (B1-2) 画面エリアに基づくハイライト

2.3   (( 探索候補の注意行動をハイライトする機能
長時間に及ぶ介入映像から効率的に特定の注意行動を検索するために，ユーザの定義したラベルに基づきタイムラインをハイライトする機能を提供する．
本インターフェースはサンプルに基づくハイライト，画面エリアに基づくハイライトという二つの機能を備えている．Sample ではユーザが探索対象となる注意行動が観察されるフレーム入力することで，視線の先端位置が類似しているフレームがハイライトされる（図 2A）．	  Region では，ユーザが画面上の領域をドラッグにて指定することにより，可視化された視線の先端が領域内にあるフレームをハイライトする（図 2B）．

3  ユーザ実験

提案インターフェースの有効性を検証するために，介入映像へのビデオコーディングをタスクとしたユーザ実験を行った．本稿では，12 人の非専門家へ行ったユーザビリティテストの結果を報告する．
3.1  実験タスクと条件実験のために，4 歳の定型発達児に対しての模擬的な介入を撮影した．ネーミングタスクと言われる，指事物体への共同注意と発話による回答を観察する介入を実施した．実験のために，介入中の映像を 3分に区切ったものを 3 本作成した．また実験では，被験者に映像中の各 3 秒区間内に児童によるアイコンタクトが生起したかを判定する，タイムインター

実験結果

図 3 にタスクの容易さ(Ease of Task)と機能の有用 性 (Usefulness of features for Sample andRegion)に関する主観評価の結果を示す．フリードマン検定及びマン・ホイットニーの U 検定の結果，None-Sample 間及び None-Region 間に差があることが明らかになった．二つの主観評価結果において	 Sample-Region 間には差がなかった．
3.3  考察

実験結果から視線可視化及び注意行動の検索機能がある提案インターフェースにより，ビデオコーディングが支援されることを確認した．視線可視化はそれ自体が注意行動の確認を助けるだけでなく，ハイライト機能を利用する際に検索対象の選択に役立つことがわかった．また，顔の未検出や視線推定の誤差による不正確な推定結果も含まれていたが，被験者が機能を有効に活用できていることを確認した．

謝辞
本研究は JST CREST (課題番号 JPMJCR14E1)の支援を受けた．

参考文献[1]   https://www.cdc.gov/ncbddd/autism/documents/co
mm-report-autism-full-report.pdf[2]   X Zhang et. al. It’s Written All Over Your Face:
Full-Face Appearance-Based Gaze Estimation.
CVPRW2017 .
[3]   Z. Ye et. al. Detecting bids for eye contact using awearable camera. FG2015[4]   T. Baltrusaitis et. al. OpenFace: An open source
facial behavior analysis toolkit. WACV2016.