情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-06
2019/3/6

CarBuddy: 加速度情報とスケルトン追跡による車両周辺ユーザの特定と意図推定榮井 優介1,a)

石黒 祥生2,b)

西野 隆典3,c)

武田 一哉2,d)

概要：本研究では停止している車両に近づいてきた人物が利用者であるのか他者であるのかを判定することで，車両に乗り込む前の段階での人–車両間のより良いインタラクション体験の実現を目指す．例えば，人物が近づいた際にその人物が車両の利用者であるのかを判定し，その行動を認識することで，自動でドアを開けたり，悪意がある他者が近づいた場合には通報を行うなどの機能が実現できる．あるいは乗り込むまでの時間を活用して，車両内の環境を整備することもできる．そこで本論文ではまず位置推定の部分に着目して，加速度センサのデータとデプスカメラによるスケルトン追跡結果を用いることで，加速度センサを持つユーザのスケルトンを特定する手法を提案し，オフラインの評価実験により 3 人の中から約86.5%の精度で特定できることを確認した．さらにリアルタイムで動作するシステムを実装し，その詳細について述べる．

1. はじめに

例えばユーザが近くにいるだけなのか，運転席に乗り込もうとしていること，荷物をトランクに入れようとしている

自動運転車はカメラや LiDAR（Light Detection andことを認識し，自動でドアやトランクを開けることで，よRanging）など，様々なセンサを備えている．例えば TESLAりスムーズな乗車体験が実現できる．また，ユーザが車にのオートパイロットでは，6 種類のカメラと超音波センサ，乗り込もうとしている際に “どこへ向かいますか？” などとレーダーセンサが用いられており [1]，車両周囲の状況を話しかけることも可能になる．現状では，radio-frequency

計測することで，狭い空間でもドアを開けることができる(RF) や GPS により，ユーザが車両に近づいたことや，そなどの機能を実現している．我々は，ユーザが実際に自動の正確な位置を推定することは可能だが，それだけでは認運転車両を利用するときに，これらのセンサを車両を安全識できるユーザの行動に限界がある．ユーザの複雑な行動に自動で走行させる目的以外にも，人–車両間のインタラを認識するためには，画像やデプスなどの情報をユーザとクションに活用することで，より良い自動運転車両の利用対応付けし，活用する必要がある．

体験が実現できると考えている．その中でも，我々は車両

本論文では，まず位置推定の部分に着目して，加速度セに乗り込む際における人–車両間インタラクションについンサのデータとデプスカメラによるスケルトン追跡を用いて着目した．

ることで加速度センサを持つユーザの位置を推定する手法

Continental Automotive は，車両の鍵をもつユーザが近を提案し，マーカやユーザに関する事前情報無しで位置のづいていることを認識することで，そのユーザによるカス推定が可能であることを評価実験結果により示す．また，タマイズ済み機能の設定と車両のロックを自動で解除す

近づいてきた人物が加速度センサを持つ特定の利用者である Passive Start & Entry（PASE）システムを開発しているのか他者であるのかをリアルタイムに認識し，スケルトる [2]．もし自動運転車が，ユーザが近づいていることだけ

ン追跡結果とユーザの対応付けを行うことのできるシステ

でなく，その行動や状態を認識することができれば，ユームについて述べる．

ザに対してより複雑な働きかけを行うことが可能になる．
123a)b)c)d)名古屋大学 情報学研究科
名古屋大学 未来社会創造機構
名城大学 都市情報学部
sakai.yusuke@g.sp.m.is.nagoya-u.ac.jp
ishiy@acm.org
nishino@meijo-u.ac.jp
kazuya.takeda@nagoya-u.jp© 2019 Information Processing Society of Japan

2. 関連研究
屋外におけるユーザ位置推定手法として，GPS が広く用いられている．しかし，屋内においては壁や床によって正確な位置推定が困難であるという問題点がある．そこで屋内においても位置推定を行うための様々な手法が489

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-06
2019/3/6

提案されており，例として，Wi-Fi アクセスポイントを利画像・デプス

用した PlaceEngine [3] や，radio-frequency (RF) を用いスケルトン推定・追跡た RADAR [4] が挙げられる. しかし位置推定の精度が数リサンプリング

メートルのオーダーであったり，特殊な機器が必要である

LPFという問題がある．Chen らにより，Wi-Fi 信号を用いて重⼼計算

20 cm × 70 cm の範囲において精度 5 cm のユーザ位置推定

2階微分により加速度計算を実現する手法が提案されている [5] が，車両周辺の人物y軸に重⼒加速度を加算の行動認識まで行うためには，位置推定の精度がどれだけ

ノルム計算高くても限界があり，画像などのデータも併用する必要

加速度リサンプリング

LPF

ノルム計算
正規化相互相関計算があると考えられる．また，カメラ画像をもとにした顔認証 [6] や歩容認証 [7] により，画像内におけるユーザの位置を推定することが可能であると考えられる．しかしそのた

ラグ0の相関係数が最⼤のスケルトンを選択

図 1 提案手法の手順．

めには事前にユーザごとの顔画像や歩容情報を収集しておく必要がある．

らより細かな状態推定を行うことを目的とする．ある特定一方で，加速度センサを用いてユーザの位置推定を行うのユーザの行動を認識することを目的として，スケルトン手法がいくつか提案されている．加速度センサは現在発売

追跡によりカメラ内に存在するユーザの加速度情報を計算されている多くのスマートフォンに搭載されているため，し，あるユーザが持つ加速度センサのデータとの相関を計利用が容易である．また，スマートフォンを利用してドア算することで，加速度センサを持つユーザのスケルトンをの鍵を開ける [8] など，個人を特定するデバイスとしても特定する手法を提案する．

利用されている．Shigeta らの研究によって，加速度センサ提案手法の手順を図 1 に示す．まずスケルトンの推定から得られる加速度のノルムと，カメラ画像中の動きからおよび追跡を行う．スケルトン追跡には，検証の段階では計算した加速度のノルムとの相互相関を計算することで，Kinect v1，デモシステムには Intel RealSense D435 およ

加速度センサの画像中の位置を推定することができること

び Nuitrack SDK [11] を使用した．Kinect v1 は，計 20 種が示されている [9]．しかし，この手法では色相情報に基類の関節の 3 次元位置を同時に 2 人まで，Nuitrack SDKづき，ある特定の色の服などをマーカとしてその重心からは同じく計 20 種類の関節を同時に 6 人までトラッキング計算した加速度のノルムを用いるため，事前情報が必要ですることが可能である．スケルトン推定は一定間隔に行わある．そこで槙らは，画像から特徴点を追跡し，その位置れず，約 30Hz 程度の動作周波数であることから，2 次のを用いて加速度センサのデータと合わせて位置推定を行う

スプライン補間を用いて 30Hz にリサンプリングする．さ手法を提案した [10]．これにより事前情報を必要としないらに，平滑化を目的としてカットオフ周波数 3Hz のローパ位置推定が可能となったが，動きが激しい場合に特徴点追スフィルタに通した後に，スケルトンの重心を計算する．

跡が安定して行えず，検出に失敗したり誤検出を起こす場得られた重心の位置を 2 階微分し，加速度を計算する．そ合があることや，特徴点検出がテクスチャに依存するといして，槙らの手法 [10] と同様に，重力加速度方向 (Kinect

う問題点が見られた [10]．

v1 の場合 y 軸方向) に重力加速度を加算し，加速度のノル

3. スケルトン追跡と加速度センサを用いたユーザ位置推定ムを計算する．加速度センサから得られた加速度データについても，スケルトンデータと同様の 30Hz にリサンプリングする．また，カットオフ周波数 3Hz のローパスフィル

自動運転車両は，走行や物体認識のためにカメラや Li-タに通し，ノルムを計算する．さらに，スケルトンデータ

DAR などのセンサを利用することで，空間を三次元情報から計算した加速度ノルムと，加速度センサから得られたとして把握して走行する．これらの情報を用いることで，加速度ノルムの正規化相互相関を計算する．そして，ラグ車両周辺のユーザのスケルトン追跡が可能である．また，が 0 の相関係数をスコアとし，最大のスコアを持つスケル

Shigeta らや槙らの研究によって，画像データと加速度セトンを対象として選択する．

ンサの正規化相互相関により加速度センサを持つユーザの特定が可能であることが示されている [9], [10]．本研究では，ユーザの状況，行動を特定するために，ユーザの持つ4. ユーザ位置推定の事前評価実験
4.1 評価用データの収集

センサ情報と，カメラ画像中でのユーザの位置を特定し，提案手法の有効性を検証するため，評価用のデータを収

センサ情報とカメラ映像の情報を連動することで，映像中集した．Kinect v1 と Kinect Studio を利用して画像およびの誰がどのセンサを持っており，またそのユーザの外観デプスを記録し，Kinect SDK 1.8 を用いてスケルトン追跡（映像中の位置や服装，荷物を持っているか否か）の情報かを行い，各関節の 3 次元位置をタイムスタンプと共に記録© 2019 Information Processing Society of Japan490

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-06
2019/3/6

した．また，iPhone 6s 上にて動作する HASC Logger [12]3リング周波数で記録した．以下の 2 つのケースについて，

2

それぞれ 3 回ずつ試行した．

1( 1 ) ズボンの右ポケットに iPhone を入れる
( 2 ) iPhone を右手で持つそれぞれの試行では，室内の 3m 四方程度のスペースで，

Normalized normを用いて，加速度や地磁気，GPS データを 100Hz のサンプ

012

前後左右への歩行，ランニング，ジャンプなどの動作を行

3

い，1 分間記録した．

45

4.2 実験方法
同条件で 3 度収集したデータを用いて，複数ユーザが同時に動いている状態をシミュレーション的に再現し，ユー

図 2accelerometer(a) target skeleton centroid(b) other skeleton centroid(c) other skeleton centroid
0.0

0.5

1.0

1.5
time [s]

2.0

2.5

3.0

ある 3 秒間のデータにおける，加速度センサおよび 3 つのスケルトンから計算した正規化加速度ノルムのプロット．

ザ特定の精度を評価した．まず，3 度収集したデータそれ
ぞれを 1 秒ずつずらしながら 3 秒間のセグメントに区切った．また，歩行動作の順番の影響を打ち消すために，それ5. 近づいた人物が利用者かどうかをリアルタイムで判定するシステム

ぞれの試行についてセグメントをシャッフルした．そして人物が近づいてきた際に，スケルトン追跡結果と加速度それぞれの試行から 3 つのセグメントを抽出してセットとセンサを持つ利用者の加速データを利用して，近づいてきして，提案手法を用いて加速度センサをもつセグメントをた人物が利用者か他者かを認識する，リアルタイムで動作特定した．具体的には，ある 1 セットの試行 A, B, C におするシステムを実装した．

た．ケース 1，ケース 2 でそれぞれ 57 セグメントが得られいて，まず A の加速度センサのノルムと，A, B, C のスケルトンから計算した加速度ノルムのマッチングをそれぞれ行い，推定結果が正しいかどうかを確認し，同様に B, C についても行った．
評価指標としては，正しくスケルトンを推定できた割合(精度) を用いた．

5.1 システムの実装方法
図 3 に，実装したシステムの構成図を示す．図 3a のiPhone 6s 上にインストールした HASCLogger を用いて加速度を 100Hz の周波数で計測し，UDP によりマルチキャストアドレスに対してタイムスタンプおよび 3 軸の加速度データを送信する．また，図 3b に示したノート PC（Let’s4.3 結果note）上で Nuitrack SDK を用いた C++アプリケーション

ケース 1，ケース 2 両方の場合において，57 回中約 86.5%のによりスケルトントラッキングを行い，加速度データとは精度でスケルトンを推定した．図 2 に，ある 3 秒間のデー異なるマルチキャストアドレスにタイムスタンプおよびス

タにおける，加速度センサから得た加速度ノルムと各スケケルトン ID，各関節の 3 次元位置を送信する．そして，図ルトン重心から計算した加速度ノルム系列のプロットを示

3c のノート PC（Macbook Pro）上で動作する Python スす．図 2 の青いプロットが加速度センサ，図 2a が加速度クリプトにより加速度データおよびスケルトンデータを 3センサを持つスケルトン，b および c が別の試行における秒間分受信し，3 章の手法により加速度データについてとスケルトンから計算した加速度ノルムを表す．図 2a，b，c

追跡した各スケルトンそれぞれにおけるスコアを計算した．

における加速度センサデータとの正規化相互相関のラグ 0

人物が近づいたかどうかは，D435 からスケルトンにおでの相関係数はそれぞれ，0.67，-0.44, -0.26 であった．

ける各ジョイントの重心までの距離が 1.5m 以内の範囲に入ったかどうかで判定する．もしその近づいた人物のスケ4.4 考察

ルトンの加速度センサとの相関によるスコアが最も高く，シミュレーション的ではあるものの，3 人のユーザの中かつスコアが 0.5 を超えている場合は利用者であると判定から特定ユーザのスケルトンを推定することができたことし，そうでない場合は他者だと判定する．動いていない人から，マーカや特徴点無しで，スケルトン追跡結果からで物を判定の対象から除外するために，スケルトン重心の加も 3 秒間のデータを用いて加速度センサを持つ人物の位置速度の標準偏差が 0.15 m/s2 を上回っている人物のみを判とスケルトンを特定できることを確認した．

定対象とした．

5.2 評価実験
提案するシステムを用いて，近づいてくる人物が利用者© 2019 Information Processing Society of Japan491

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-06
2019/3/6

ら，近づいてくる人物の判定については有効であることが確認できた．しかし，他者がシステムに近づいた場合，利用者についても他者と判定していた．その際利用者は歩行(b) Letʼs note RealSense
D435

はせずにその場で動いたため，利用者が十分に動いていない場合には，システムはその人物を利用者であると正しく判定できないことが分かった．よって，加速度センサによ(c) Macbook Pro

る加速度データのノルムが一定の閾値を超えない場合に判定を行わないという処理が必要であると考えられる．

(a) iPhone 6s

図 3

6. 結論

システムの構成図．

本論文では，スマートフォンの加速度センサとデプスカ(a)メラにより追跡したスケルトン重心の加速度データを用い(b)て，近づいてきた人物が加速度センサを持つ利用者である
OK

NGのか，他者であるのかを判定し，さらにその特定された人物の映像情報を活用することのできるシステムを提案した．
事前評価実験として，3 回分の試行により収集したスケル
トン，加速度データを用いて加速度センサを持つ人物をオフラインで推定できるかを確認したところ，加速度センサ利用者

他者
図 4 デモシステム評価実験の概要．

をズボンのポケット内に入れた場合，右手で持った場合それぞれにおいて約 86.5%で正しく推定できたことから，提案手法が有効であることを確認した．

か他者であるのか判定することができるかを評価するため

そして，近づいた人物が利用者か他者であるかをリアルの実験を行った．

タイムに判定するデモシステムを実装した．2 人の内 1 人

5.2.1 実験方法

を利用者，もう 1 人を他者として評価実験を行った結果，室内において，加速度センサを持つ利用者（図 4a）と持12 回の試行の内 12 回全てにおいて，システムは近づいたたない他者（図 4b）の計 2 人のいずれかがシステムに向人物が利用者か他者であるかを正しく判定し，その有効性かって近づいていき，近づいてきた人物が利用者なのか他が確認できた．

者なのかをシステムが正しく判定できるのかを検証した．

今後の課題として，本システムを屋外で実際の車両に実20 代の 2 名（うち女性 1 名）が実験に参加した．2 名それ

装し，システムの有効性や限界を確認すること，また，利ぞれを利用者および他者であるとした場合について 3 回ず

用者か他者か判定した結果と追跡したスケルトンのデータつ，計 12 回試行した．利用者は加速度センサとして用いの他に画像データなどを併用し，利用者が荷物を持っていた iPhone 6s を右手で持つこと，システムに対して近づいることや悪意のある他者が近づいているというような，よていく場合はもう一人の人物とオーバーラップしないようり詳細な行動を認識することが挙げられる．にシステムに対してまっすぐに歩行し，近づかない場合に我々は本論文で提案したシステムをさらに発展させ，自はスケルトン追跡が可能な位置で歩行はせずにその場で動動運転やシェアードモビリティが普及した際の，人–車両間くように依頼した．評価指標として，計 12 回の試行の内，のより良いインタラクション体験の実現を目指していく．

近づいた人物についてが利用者および他者とシステム正しく判定した回数を用いた．

参考文献

5.2.2 結果

[1]

計 12 回の試行の内，システムは利用者および他者と正しく判定した回数は 12 回であった．利用者がシステムに[2]近づいた場合に限ると，6 回の試行の内 1 回において，他者についても利用者だと判定していた．また，他者がシステムに近づいた場合に限ると，6 回の試行の内 6 回全てにおいて，利用者についても他者だと判定した．

5.2.3 考察
12 回の試行全てにおいて，システムに対して近づいてきた人物が利用者および他者であると正しく判定したことか© 2019 Information Processing Society of Japan[3]

テスラジャパン：オートパイロット，テスラジャパン（オンライン），入手先 ⟨https://www.tesla.com/jp/autopilot⟩（参照 2018-11-27）.
Continental Automotive:
Passive Start & Entry, Continental Automotive (online), available
from⟨https://www.continental-automotive.com/engl/Passenger-Cars/Interior/Comfort-Security/AccessControl-Systems/Passive-Start-Entry⟩ (accessed 201812-18).
暦本 純一，塩野 崎敦，末吉隆彦：PlaceEngine–実世界集
合知に基づく WiFi 位置情報基盤，インターネットコン
ファレンス論文集，Vol. 2006, pp. 95–104（オンライン），
入手先 ⟨https://ci.nii.ac.jp/naid/40016817638/⟩ (2006).

492

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]
[12]

2A-06
2019/3/6

Bahl, P. and Padmanabhan, V. N.: RADAR: an inbuilding RF-based user location and tracking system,
Proceedings IEEE INFOCOM 2000. Conference on
Computer Communications. Nineteenth Annual Joint
Conference of the IEEE Computer and Communications Societies (Cat. No.00CH37064), Vol. 2, pp. 775–784 vol.2 (online), DOI: 10.1109/INFCOM.2000.832252(2000).
Chen, C., Chen, Y., Lai, H., Han, Y. and Liu, K.
J. R.: High accuracy indoor localization: A WiFi-based
approach, 2016 IEEE International Conference on
Acoustics, Speech and Signal Processing (ICASSP), pp.
6245–6249 (online), DOI: 10.1109/ICASSP.2016.7472878(2016).
Turk, M. A. and Pentland, A. P.: Face recognition using eigenfaces, Proceedings. 1991 IEEE Computer Society Conference on Computer Vision andPattern Recognition, pp. 586–591 (online), DOI:
10.1109/CVPR.1991.139758 (1991).
Kobayashi, T. and Otsu, N.: A Three-Way AutoCorrelation Based Approach to Human Identification by Gait,
Proceedings of IEEE Workshop on Visual Surveillance,
pp. 185–192 (2006).
Kwikset:Kevo Contemporary, Kwikset (online),available from ⟨https://www.kwikset.com/kevo/kevocontemporary⟩ (accessed 2018-12-25).
Shigeta, O., Kagami, S. and Hashimoto, K.: Identifying a moving object with an accelerometer in a camera
view, 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 3872–3877 (online),
DOI: 10.1109/IROS.2008.4651201 (2008).
槙 優一，鏡 慎吾，橋本浩一彦：画像特徴点運動に基づく
カメラ視野内の加速度センサの位置推定と追跡，計測自動制御学会東北支部第 264 回研究集会 (2011).
3DiVi: NUITRACK SDK, 3DiVi (online), available from⟨https://nuitrack.com/⟩ (accessed 2018-12-20).
HASC: HASC Logger, HASC (online), available from⟨http://hasc.jp/tools/hasclogger.html⟩ (accessed 201812-20).

© 2019 Information Processing Society of Japan

493