情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-18
2019/3/6

accelD : ウェアラブルデバイスを用いた挨拶のジェスチャ認識と人間関係の親密度の測定と応用
藤井悠太†1渡邊恵太†1

概要：人と対面する際, さまざまなジェスチャをする.我々は, これらのさまざまなジェスチャは対面する人同士の仲の良さや親密度などの関係性を示すと考えた. そこで, ウェアラブルデバイスによってジェスチャ認識を行い親密度を測ることで, その親密度に比例したコミュニケーションを促すシステム, accelD を提案する. accelD はウェアラブルデバイスとスマートフォンのみから構成するシステムである.

1. はじめに

3. accelD

挨拶は, ほとんどの人が日常的に行う行為である. 挨拶

親密度低中高には, ジェスチャを伴うことがある. たとえば, 友達であジェスチ
ャの種類

お辞儀
握手

乾杯
手を振る

ハグ
肩を組む

れば手を振ったりハイタッチをすることがある. 初対面の人であればお辞儀をしたり握手をしたりすることもある.
我々は, これらのさまざまなジェスチャは対面する人同士イラストの仲の良さや親密度などの関係性を示すと考えた.
そこで本研究では, 腕に装着したウェアラブルデバイスを用いて, これらのジェスチャ認識をし, ジェスチャの種

図 1. ジェスチャの種類と親密度の関係

類や特徴, 強さから仲の良さや親密度といった人間関係の測定を試行する. 本研究ではこの親密度に基づき, 個人間の情報の公開ルールを段階的に変更する accelD を提案する. accelD は, 機械学習における分類のアルゴリズム, k 近傍法を用いることで, 多数のジェスチャを認識し, 判別する.

accelD は位置情報と複数のユーザのジェスチャ認識を同時刻に行うことで親密度を測る機能と, その親密度に基づいてコミュニケーションのきっかけを提示する機能に分かれている. 我々が行うジェスチャにはさまざまな種類があり(図 1), 親密度の高いジェスチャほど付加する親密度を高くする.

2. 関連研究

ソフトウェアは iOS アプリケーションとして実装した.

ジェスチャ認識研究において, ウェアラブルデバイスのアプリケーション起動後の画面には他ユーザの一覧を表示

加速度センサを用いて多くの研究が行われてきた [1][3][6].

(図 2 左)し, ユーザ名をタップすることで特定ユーザとの多くの研究では, 認識対象とするエンドユーザから事前にジェスチャの履歴や他ユーザとの親密度を表示(図 2 右)すセンサデータを取得し, ラベル付けをしたサンプルデータる. 親密度はユーザが行うジェスチャによって上がってを用いる手法が提案されている [2]. 本研究においても, 同いく.

様の想定をおく. また, これまでのジェスチャ認識研究の位置情報はGPSによって取得する. iOSのフレームワー

多くは, ユーザ自身がジェスチャの開始点と終了点を指定

ク, Core Locationを使用し, 位置情報を取得後に近距離通する必要があった [5]. しかし, 開始点と終了点を指定する

信フレームワーク, Multipeer Connectivityによりユーザ同動作自体を加速度データとして取得することは好ましくな士の通信を行う.

く, 実際の利用環境を想定しても望ましくないため, 連続ジェスチャは, Apple Watchの加速度センサにより加速的なデータを抽出して分析する.

度を取得し, 機械学習モデルを作成することで認識する.

また, ジェスチャ認識の研究の多くでは, 機械学習の手時系列データとしてCSV形式で保存している加速度データ法として SVM を用いるものが多かったが, 本研究ではさに任意のラベルをジェスチャごとにつけ, k近傍法によっまざまなジェスチャの種類を識別する必要があるため, kて機械学習モデルを作成する. iOSの機械学習フレームワ近傍法を用いる.

ーク, Core MLによってこの機械学習モデルを読み込む.
常に加速度データは取得し続け, ジェスチャも認識し続け†1 明治大学総合数理学部先端メディアサイエンス学科 Department ofFrontier Media Science, Faculty of Interdisciplinary Mathematic Science at Meiji
University© 2019 Information Processing Society of Japan770

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-18
2019/3/6る. 他ユーザとの距離が近く, ユーザ同士が互いにジェスチャをして繋がっているときに親密度を上げる処理を行う.

5. 議論
親密度が上がるのはジェスチャを行う場面だけでないことが多い. また, 特定のジェスチャによる親密度の上がり方は, 人によって差があると考えている. しかし, ジェス

表 1. 認識したジェスチャの種類と認識率

チャ以外の場面でユーザ同士が仲良くなった場合, ジェスチャがその親密度を反映するため, 結果として accelD が認プログラムの判定結果実際に行った識することが可能である.

ジェスチャの種類

握手

手を挙げる

手を振る

ハイタッチ

握手

96

1

30

手を挙げる

266

2111

手を振る

31278

7

ハイタッチ

027469

本研究は, ジェスチャ認識によって, 親密度を数値化することを可能にした.
5-1. 親密度
挨拶のジェスチャだけでは親密度として不十分なことがある．たとえば，会う回数が少なくても，1 回あたり長い時間話していれば，親密度は高まる可能性がある．したがって，会話時間や SNS でのやりとり，相互フォローなどの情報も踏まえることで，親密度にこれらをポイント化し加算することができるだろう.
accelD は, 立場が違うユーザ同士の関係性についても定義づけを行うことを想定している. 例えば, 上司と部下の関係では, 片方が手を振り, もう片方がお辞儀をするようなこともあるだろう. accelD では, さまざまなジェスチャのうち, いずれかのジェスチャを同時刻にすることで, 親密度を付加する.
5.1.1 親密度を利用したアプリケーションの例
対面で挨拶をする時にジェスチャから親密度を測ること
で, ユーザ同士に親密度の付加値を示し(図 3), ユーザが親密度に合わせたコミュニケーションをすることができる.
親密度の値を利用することで, たとえば親密度をベース

図 2. ユーザ一覧表示画面(左)と詳細画面(右)とした SNS を新たに作れる可能性がある. Facebook にはグループごとに投稿を切り替えることができるが, ユーザが4. 考察わざわざ設定しなければならない. またそもそも SNS における友達は, これまでの日常生活の「友達」の概念とは異ジェスチャ認識を行い, それぞれのジェスチャについてなる部分があり，申請し承諾すれば誰もが「友達」になっ認識率を示した(表 1). 被験者 1 人が各ジェスチャ 100 回, 4てしまう. そこで accelD によって, たとえば親密度を用

つのジェスチャを Apple Watch をつけて行った結果である.

いて, 親密度が 10 以上, 30 以上, 50 以上といった場合分「握手」については 96%認識することができた. 「手を振けでグループに見える記事内容, 10 以上のユーザは写真る」に関しては「手を挙げる」と誤認識することが 10%近だけ, 30 以上のユーザは音声覗いた動画も, 50 以上のユくあり, 78%の認識率となった. これは, 複数のユーザが同ーザには音声含む動画もといったような記事の見せ方がで

時刻, 近距離で何らかのジェスチャを開始してから 2 秒間きる. こうすることで, 現在の Facebook のようにユーザの加速度を取得してジェスチャ認識をすることによるもの

が明示的にグループをつくることなく, 親密度に応じて段である. 「手を挙げる」, 「ハイタッチをする」は互いに誤階的に向上する自然な友達関係を構築できる可能性がある.

認識する確率が 10~30%程度あり, 認識が困難な傾向にあまた, Instagram でも親密度の高いユーザにしか見せなる. これは, 認識のための加速度取得時間, 取得する加速いコンテンツがある. コンテンツだけでなく, 登録情報も度の数によっても変わってくるだろうと考えている.

柔軟に可変できるようにすると, accelD を用いることで親密度が 10 以上のユーザにはプロフィールの基本情報のみ, 30 以上のユーザには年齢情報まで, 50 以上のユーザ© 2019 Information Processing Society of Japan771

情報処理学会 インタラクション 2019
IPSJ Interaction 2019には写真コンテンツ撮影場所の位置情報までを見せるようにすることができる. これも親密度による情報の段階的な開示である.
5.1.2 情報の段階的制御

3B-18
2019/3/6

Human-Computer Interaction, HCI Intelligent MultimodalInteraction Environments, Springer, 2007, pp. 718-727.
[6] 伊藤駿吾, 白石陽, 今野慎介, 手首装着型センサを用いた打鍵動作特徴による個人認証手法, 情報処理学会 DICOMO2016
論文集, 2016, pp1165-1171.

ハイタッチをすることで, ユーザ同士の親密度が上がる.
親密度が上がったことでユーザ同士のコミュニケーションは親しみのあるものになる. accelD はコミュニケーションのきっかけとして, SNS の非公開アカウントの ID を互いに通知する. 最近, SNS で非公開アカウントだけでなく「親密度の高いユーザのみに公開するコンテンツ」の機能が流行している. accelD が親密度の高いユーザを制御することにより, 実際のコミュニケーションと SNS 上のコミュニケーションを紐付ける仕組みが出来る. 親密度と accelD が提示するコミュニケーションのきっかけは各ユーザの設定により, 柔軟に変えることができる. いずれは家の施錠権限や,より個人的な情報を交換する.

図 3. ジェスチャ認識後の親密度付加

6. おわりに
本論文では, accelD の概要と実装について提案した. 表 1のジェスチャ認識率を求める実験では, 被験者 1 人が合計400 回ジェスチャをしたが, 今後, 多数の被験者に実験を行うことでより認識率を一般化し, 実用性を増すことができるだろう.ジェスチャの種類はさまざまなものがあるた
め, 挨拶に使うジェスチャ以外のものについても検討していく.

参考文献[1] Ling Bao and Stephen S. Intille.: Activity recognition from userannotated acceleration data, Pervasive 2004, 2004, pp. 1-17.
[2]Martin Berchtold, Matthias Budde, Dawud Gordon, Hedda
Schmidtke, and Michael Beigl.: ActiServ: Activity recognition
service for mobile phone, International Symposium on Wearable
Computers, 2010, pp. 1-8.
[3] Joseph Korpela, 前川卓也, Julien Eberle, Dipanjan Chakraborty,and Karl Aberer.: 身体に装着した加速度センサによる行動およびジェスチャの統合的認識手法の提案, 情報処理学会研究報告, vol.2014-HCI-160, No.1, 2014, p.1-8.
[4] Jiahui Wu, Gang Pan, Daqing Zhang, Guande Qi, and Shijian Li.:Gesture recognition with a 3-D accelerometer, Ubiquitousintelligence and computing, Springer, 2009, pp.25-38.
[5] Kent Lyons, Helene Brashear, Tracy Westeyn, Jung Soo Kim, andThad Starner.: GART: The gesture and activity recognition toolkit,© 2019 Information Processing Society of Japan772