DEIM Forum 2023 4b-4-4

5G 網を介した動画像と加速度センサによる人物認証
伊藤鋼一朗†

西村 優典†

横山昌平†,††,†††† 東京都立大学 〒 191–0065 東京都日野市旭が丘 6-6†† 国立情報学研究所 〒 101–8430 東京都千代田区一ツ橋 2–1–2††† 東京大学生産技術研究所 〒 153—8505 東京都目黒区駒場 4–6–1
E-mail: †{ito-koichiro,nishimura-yusuke}@ed.tmu.ac.jp, ††shohei@tmu.ac.jp
あらまし 5G 通信が普及しており, 低遅延かつ超高速な通信が可能となっている. 本手法ではこの 5G 網を利用し, 動
画像の座標の変化と歩行者の持つスマートフォンの加速度センサデータの変化を統合することによって加速度センサ
所持者を特定する手法を提案する. 本手法ではサーバに加速度データを送る際に 5G 通信を利用する. また, 5G 通信で超高速でデータを送ることができるため, スマートフォンから加速度のデータをサーバに送るだけで人物認証を行うことが可能であり, ユーザは顔や歩容のデータなどの身体情報を事前に登録する必要がない.
キーワード 画像認識, 映像解析, 信号処理

1 はじめに
我々の生活の安全・安心を実現するために人物認証が様々な方法によって行われている. 一番身近なところでいうと, スマー
トフォンのロック画面解除である. パスワードだけでなく, 指紋や顔など様々な手法でロック画面を解除することができる.
自身のデバイスといった私的な用途だけでなく, 空港でのパスポートとの顔照合, オンライン決済時の本人確認など公共の場においても人物認証は様々な方法かつ様々な目的で行われている.
人物認証は我々の生活で頻繁に行われているが, 人物認証における認証手法は大別してアクティブ認証とパッシブ認証の 2つがある. アクティブ認証とはパスワードを入力する等, ユーザ

図1

歩行者をカメラで捉え, 加速度を取得するイメージの能動的な動作に基づいて認証を行う手法である. それに対しパッシブ認証は IP アドレス・MAC アドレス認証であったり,する. つまり, その人物に関する情報が 2 つ以上あればそれら筆跡鑑定等を用いた認証のような, ユーザ自身に特別な動作をを照合できれば人物認証ができる. そして本論文が想定してい課さない認証の事である. さらに顔や指紋, 歩容情報など身体る環境は現実世界の物理的な動きを仮想世界に反映するアプリ

的・行動的特徴を用いた認証手法は生体認証と位置付けられる.

ケーションにおいて個人の認証を行うことを想定している. こ

パッシブ認証かつ生体認証の人物認証である歩容認証 [1] は,こでそのような環境下で認証を行うにあたって, 個人の生体情

基本的に個人を識別することを目的としており, データベース

報を用いなければならないのだろうか. 個人の生体情報ではな内に格納された歩容情報と, 観測情報を統合することによってい情報を取得する方法として, スマートフォン内蔵の加速度セ認証を行う. データベースの情報と観測情報を統合するというンサとカメラ視野内の人物に関する骨格検出を利用する. 図 1

点は指紋認証や顔認証も同様である. ここで我々は事前に歩容は, カメラで捉えている歩行者の動きを仮想世界に反映するア

情報や指紋情報などの生体情報を保持しておくことにセキュリ

プリケーションで加速度と骨格検出を用い, 人物認証を行うイ

ティ上の危険が存在していると考える. データベースからの生メージである.

体情報の抜き取り, 偽造された生体情報を用いて認証を突破 [2],スマートフォンは今や世界全体において広く普及したデバイといったように多方面からのセキュリティ上の危険が存在する.

スとなっており, 街中では歩いていると多くの人がスマートフォ

また, ユーザがデータベースに情報を保持することに対する心ンを操作している様子が見受けられる. スマートフォンには加理障壁も考えられる.

速度センサが内蔵されており, 加速度センサによって物体の傾

前述した人物認証の例では, 顔認証や指紋認証のように特定

きや振動を計測することができる. そして街中では歩きながらの個人を識別することを例として挙げた. 人物認証はその人物

スマートフォンを操作したり, スマートフォンを手に持ったまの 2 つ以上のデータを照らし合わせることでその人物を特定

ま歩く人が見受けられる. このことから歩行者がスマートフォ

ンに付いた想定で実験を行っている. つまり, 加速度センサのみの機能を持つ機器を使用しており得られた加速度の値はサーバとの無線通信によって送信される. また映像はサーバに USB
でビデオカメラを接続し取得している. カメラと加速度センサの情報の対応付けをでは加速度のノルムの正規化相互相関を計算している. また, [3] は [4] とカメラと加速度センサの対応付け
は同じ条件でありながらも, 加速度センサの場所を手だけに限定せず, ズボンのポケットの中や, バッグの中に入れ加速度セン
サを持つ人物が特定する手法を提案している.
これら研究と異なる点は, 本手法では加速度センサを手に持って人物認証を行う点である. これは [4] と条件は同じであるが,近年では繁田らの研究していた時代と異なり, スマートフォン
図2

加速度データと骨格検出データの統合ンを持つ持ち方は多種多様であり, その腕の振り方についても多種多様である. そうすると, 加速度センサの示す値について
も歩行者によって異なることが分かる.
本論文では生体情報を事前に保持する危険性を背景に着目し,ユーザがスマートフォンを持つだけで, そのユーザと持っているスマートフォンのペアリングを行う手法を提案する. 具体的には手を振るなどの, 何か動作をしているユーザが手に持っているスマートフォンに内蔵されている加速度センサのデータを,

5G 通信網を用いた高速通信によってサーバに送信する. そしてそのユーザの手の動きを骨格検出によりトラッキングし, 動
画像上での手の変位情報を取得する. この骨格検出データと加速度データを統合させることによってペアリングを完結させる.
提案手法では人物認証という目的を達成するために, あくまでユーザはカメラ視野内でスマートフォンを持てばよいだけであり, 生体情報を用いずに人物認証を行うことが可能である. 次の図 2 に加速度データと骨格検出データに統合を行うイメージを示す.
また 5G 通信が普及が始まっており, 低遅延, 多数同時接続での通信環境がスマートフォンでも利用できるようになりつつある. 本手法では 5G 通信を用いることで加速度センサの値を低遅延で送ることが可能となっている. 本論文では図１のようにカメラの視野内で複数の人が歩いているような環境下で, その
歩行者 1 人 1 人がスマートフォンを持ち, それらの加速度の値とビデオカメラからの歩行者の運動情報を紐づけ, オンデマン
ドでどの歩行者の持っているスマートフォンかを判別する. また本論文では実現していないが, 5G 通信を用いてビデオカメラのリアルタイム映像をサーバに送ることで, リアルタイムで加速度センサと情報を統合しリアルタイムで人物認証を行う研究も進めている.

2 関連研究加速度センサを用いた人物認証についての研究については既にいくつか提案手法が存在する.
繁田ら [3] [4] は実際に加速度センサとカメラを用いて人物認証を行っている. 繁田らは加速度センサが実際にスマートフォが普及している. そして, スマートフォンを手に持ちながら歩く人が多いという近年の歩行者の特徴を活かしている. また, 本
手法では加速度センサではなく, スマートフォンを用いて実験を行っており, 5G 通信を使用しサーバと通信を行う点も異なる点である. [3] [4] では加速度センサのデータを無線で送っていたが, 本手法ではスマホから 5G 通信を介してサーバに加速度のデータを送り, サーバ上で加速度のデータを処理する.
また本論文ではビデオカメラからの情報と加速度のデータの処理、統合をオンデマンドで行っている. 我々の今後想定している完全リアルタイムでの人物認証が実現した際には, ビデオ
カメラの映像、加速度のデータの送信を全て 5G 通信網上で行うことができる. そのため, 関連研究のような USB 接続によるビデオカメラからの映像の取得, 無線による加速度の値の送信から発展し完全オンライン上での処理が可能となる.
長友ら [5] はカメラと加速度センサを用いたデバイスペアリ
ングの手法を提案している. こちらの手法では加速度のデータとカメラからのデータの統合において, 加速度, 座標ともに速度データに変換させ, その速度データの類似度を計算し, デバイス
ペアリングを行っている. 加速度のデータを用いることで受信信号強度や赤外線といった無線通信を用いたデバイスペアリン
グと比べ, 頑強かつ高精度なペアリングを提案している.
本手法と異なっている点は, まず, 人物認証ではなくデバイス
ペアリングを行っていることが挙げられる. そのため, 加速度のデータと統合されるデータはトラッキングした人の動きではな
く, 実験者が開いてるスマートフォンの画面上に表示されているマーカーの 4 つ角の座標変化となっている. 次に加速度の測
定開始と測定終了を手動で行っている点である. 本手法では加速度はスマートフォンをサーバに立ち上げたサイトに接続すると, サイトを閉じない限り永遠に送り続ける仕組みとなっており, スマートフォンを持った歩行者がカメラの視野内に入るとトラッキングと人物認証を行う.

3 加速度センサと骨格検出を用いたペアリング方法の提案
3. 1 加速度送受信のアプリケーション
まず加速度送信のアプリケーションについて説明する. ス
マートフォンには x, y ,z 方向の 3 方向加速度及び方位角, x, y

表1

配列に格納された関節の種類

手首の座標データを統合することによって端末を判別する. そ

0

鼻

13

左膝

の手順を以下に示す.

1

首

14

左足首

[step1] スマートフォンを振る動作を撮影し加速度データを取得

2

右肩

15

右目

3

右肘

16

左目

4

右手首 17

右耳

5

左肩

18

左耳

6

左肘

19 左足親指7

左手首 20

左小指る.

8

左手首 21

左かかと[step2] 骨格検知を行い, 動画内の手の座標を取得

9

右腰

22

右親指

撮影した動画を骨格検知にかけ, 手首の座標を取得する. 手

10

右膝

23

右小指

首の座標に関しても加速度と同じように csv ファイルで取得す

11 右足首 24 右かかと
12

左腰

加速度データを受信するサーバを立ち上げる. そしてカメラで録画を開始し, スマートフォンからサーバに接続し加速度の送信を開始する. その後スマホを振り 10 秒ほどたってからサーバとの接続を解除し録画を止め, 加速度データと動画を取得す

る. また, 動画のフレームレートは 30fps に設定しており, 骨格の座標は 1 フレームごとに検出される. つまり, 1 フレーム

≒0.033 秒ごとの骨格の座標を検出することができる.
,z 軸の 3 軸回転角を取得するセンサが搭載されている. 本手法
では動画像とのデータの対応付けを行えればよいため, 3 軸回

[step3] 加速度データのフィルタリング
加速度のデータにのみローパスフィルタをかけノイズを除去転角に関するデータは取得していない. またカメラからスマーする.

トフォンまでの奥行きが測定できないため, 加速度の z 方向に[step4] 加速度データのサンプリング

関して比較する手段がない. そのため, z 方向に関する加速度も取得していない.

加速度送信の際は加速度センサの値が変化する度にサーバに加速度を送信するようになっている. そのため動画から得られ実装には JavaScript と Python を使用した. JavaScript のる人物の座標のデータと時間間隔が異なる. 時間間隔を揃える

Devicemotion イベントでスマートフォンの加速度センサの値ために加速度のデータを動画のフレームレートと同じ周波数のが変化した際に 3 方向加速度の値を取得することができる. こ

30Hz でサンプリングする. しかし, 動画を撮影している時間との処理が内部で行われる Web ページにスマートフォンから接加速度を計測している時間が異なるためこの段階ではデータ数

続することによってサーバとの加速度の送受信を行う. 加速度は揃っていない.

を測定する web ページを開くと加速度の取得が開始され, 同時[step5] 手を振っている区間の抽出にサーバとの WebSocket の接続が開始される. 加速度の値が手を振っている区間を機械的に抽出する方法を実装していな変化すると同時に WebSocket を用いてクライアントであるス

いため, 動画から手を振り始めと振り終わりのフレームを目視

マートフォンから Python で立てたサーバに送信する仕組みにで確認し, その手を振っているフレーム間のデータを加速度, 動なっている.

画データともに抽出する. この段階でデータ数が揃う.

加速度センサからのデータはスマートフォンのユーザーごとに別々の csv ファイルに保存される.

3. 2 スマートフォンを持つ手のトラッキング
次にスマートフォンを持っている手のトラッキングについて説明する. 手のトラッキングをするためにオープンソースのプ
ログラムである, OpenPose 1 を用いることを想定する.

OpenPose は人の関節を検出することが可能である. OpenPose によって検出することができる関節は 25 種類であり, 検出された関節座標は配列として格納される. 表 2 に格納された関節を示す.
スマートフォンは手で持っているが, 検出点では手首が一番近い. そのため検出された 25 種類の関節点のうち, スマートフォンを持っている腕の手首の関節についての座標を手の座標とする. そしてその手の座標を 1 フレーム度に取得し手の変位とする.

3. 3 加速度データとトラッキングデータからの端末判別
上述したようにして得られた加速度センサのデータと人物の[step6] 動画データの原点の座標を変換
骨格検出から得られる座標で初期設定されている原点は映像の左上となっている. そしてアスペクト比によって手首の座標が変化してしまう. そこで動画データに関する手を振っている
区間の x, y それぞれの座標の平均値を求め, その点を原点とする.

[step7] 速度データへの変換[step5] で得た手の振っている区間のデータに関して加速度のデータを積分し, 動画データに関して微分することでそれぞれ
速度データに変換する. 本研究では加速度と座標の次元を揃えない場合と速度に揃えた場合の, ペアリングに関する比較も行うため, 速度データも用いる.

[step8] 全てのデータの正規化
加速度データの座標の単位は m/s2 であり, 骨格検出から得られる座標の単位は pixel/s である. そのため単位を変換せず
そのまま比較しても意味がない. そこで 2 つのデータを正規化することによって単位を揃える. ここで [step6] から次元の揃っていない加速度のデータと動画データ, [step7] から次元が速度に揃っている加速度データ, 動画データの合計 4 種類のデータ

1：https://github.com/CMU-Perceptual-Computing-Lab/openposeが存在する. これらそれぞれのデータの各軸を, 時刻の個数の次

元のベクトルとみなし, そのベクトルの大きさを単位ベクトルとすることで正規化する.

[step8]DTW
DTW(Dynamic Time Warping) は時系列データ同士の距
離・類似度を測ることができる. ２つの時系列の各点の距離を総当たりで求め, 全て求めた上で２つの時系列が最短となるパスを見つける. そして DTW の値が小さいほど類似度が高いといえる.
本論文ではまず, [step8] から得た正規化した次元の揃っていない加速度のデータと動画データの二つの DTW を計算し, 加
速度データと動画データの類似度を測る. 次元の揃っていない
データ同士の DTW からデバイスのペアを求め人物認証とす
る. 次に [step8] から得た正規化した次元が速度に揃っている加図3

実験風景及び, スマートフォンを振る様子

速度のデータと動画データに関しての DTW を計算し, 類似度を測る. こちらも速度に次元が揃っているデータ同士の DTW

表2からデバイスのペアを求め人物認証とする. そして次元を揃え

人数

振り方

2人

1 人縦 1 人横2人

2 人とも縦る前後でのペアリングの精度を比較する.

4 実

験

実験の概要

表 3 DTW を計算する組合せ

C

4. 1 実 験 手 法

D

DT W (Ax , Cx ) DT W (Ax , Dx )実験では, 台の上に置いてあるスマートフォンを持ち上げ, 振ADT W (Ay , Cy )DT W (Ay , Dy )り, スマートフォンを台に置くという動作を行い, この動作をビDT W (A, C)

DT W (A, D)

デオカメラで撮影した. 動画撮影が開始されてから 5 秒ほど時

DT W (Bx , Cx ) DT W (Bx , Dx )B間を置いて加速度をサーバに送信し始めてからスマートフォンを持ち上げる. またスマートフォンを台に置き, 加速度の送受信が終了してから 5 秒ほど時間を置いてから動画撮影を終了す

表4

DT W (By , Cy )DT W (By , Dy )DT W (B, C)

DT W (B, D)

速度に関する DTW を計算する組合せるようにした. このように実験を行い, オンデマンドでスマー

vC

トフォンを持つ手をトラッキングし加速度センサのデータと統合できるようにした. 図 3 に実験の際に録画したスマートフォ

vA

ンを振る様子を示す.

うようにした. その実験概要を表 2 に示す.

DT W (vAy , vCy )DT W (vAy , vDy )DT W (vA, vC)

DT W (vA, vD)

DT W (vBx , vCx ) DT W (vBx , vDx )この実験を複数人で行い, スマートフォンの振り方を変化させ動画の情報からどちらのスマートフォンであるかの判定を行vD

DT W (vAx , vCx ) DT W (vAx , vDx )vBDT W (vBy , vCy )DT W (vBy , vDy )DT W (vB, vC)

DT W (vB, vD)

実験から, 加速度データが 2 つ, 骨格検出から得られた人物の手首の座標データ (人物データ) が 2 つの計 4 つを取得でき類似度が高く, スマートフォン A と人物 D がペアリングとしてる. ここで加速度のデータをそれぞれ A と B, 人物データをそ決定する. また, 今回の実験でのスマートフォンと人物の手首

れぞれ C と D とする. そうすると DTW を用いて波形の距離の座標の正しい組合せは全て (A, C), (B, D) である.

を計算するする組合せは表 3 のようになる.
こ こ で 例 え ば Ax , Cx は そ れ ぞ れ ス マ ー ト フォン A の x
軸 の 加 速 度 の デ ー タ, 人 物 C の 手 首 の x 座 標 の デ ー タ を次に実験から加速度データ, 人物データともに速度に変換したデータも取得できる. 速度データについての DTW の組合せについて表 4 に示す.

表 し て お り,DT W (Ax , Cx ) は A の x 軸 の 加 速 度 と 人 物 C

速度の DTW も先ほどと同様に A のスマートフォンの加速の x 座標に関するデータの DTW を計算する組合せとなる.

度を速度に変換した vA と C の人物データを速度に変換した

DT W (Ax , Cx ),DT W (Ay , Cy ) はスマートフォン A と人物 C

vC それぞれの x, y 関する DTW を合計した DT W (vA, vC) をの x, y それぞれに関する DTW であり, 比較する際には, そ用いる. 例えば DT W (vA, vC) < DT W (vA, vD) となるとき

れぞれを合計しなければならない. そこで DT W (A, C) =vA は vD より vC の方が類似度が高く, スマートフォン A とDT W (Ax , Cx ) + DT W (Ay , Cy ) のように加速度データと人物

人物 C がペアとなる. また, 速度のデータの正しい組合せにつ

データの x, y 全体に関する DTW を求め, その値を用いて加速いても (vA, vC), (vB, vD) である.

度データと人物データのペアリングを行う.
例えば DT W (A, C) > DT W (A, D) となるとき, A は D と表5

縦と横に振ったときの加速度と座標の DTWCDDT W (Ax , Cx ) = 3.0393 DT W (Ax , Dx ) = 4.4172
A

DT W (Ay , Cy ) = 2.4046

DT W (Ay , Dy ) = 3.407

DT W (A, C) = 5.4439

DT W (A, D) = 7.8242

DT W (Bx , Cx ) = 5.5365 DT W (Bx , Dx ) = 4.1482
B

DT W (By , Cy ) = 4.1941

DT W (By , Dy ) = 2.5404

DT W (B, C) = 9.7306

DT W (B, D) = 6.6886

表6

縦と横に振ったときの速度の DTW

vCvD

DT W (vAx , vCx ) = 1.8767 DT W (vAx , vDx ) = 2.0096
図4

縦にスマートフォンを振っているときの加速度の変化

vA

DT W (vAy , vCy ) = 2.4325

DT W (vAy , vDy ) = 2.3967

DT W (vA, vC) = 4.3092

DT W (vA, vD) = 4.4063

DT W (vBx , vCx ) = 5.8838 DT W (vBx , vDx ) = 4.2411
vB

DT W (vBy , vCy ) = 2.5699

DT W (vBy , vDy ) = 2.1640

DT W (vB, vC) = 8.4537

DT W (vB, vD) = 6.4051

座標のペアリングは (A, C), (B, D) となり, これは正しい組合せとなる. したがって正しくペアリングすることができた.
次に加速度のデータと人物の手首の座標に関するデータ
を 速 度 に 変 換 し た と き の DTW を 表 6 に 示 す.

表 6 からDT W (vA, vC) < DT W (vA, vD) となるため, 加速度センサ
A と類似度が高いのは人物 C であることが分かる. 同様に
図5

縦にスマートフォンを振っているときの手首の座標の変化

DT W (vB, vC) > DT W (vB, vD) となるため, 加速度センサ Bと人物 D が類似度が高い. よって今回のスマートフォンと人物

4. 2 実験結果 1 : 1 人横, 1 人縦に振っているとき
まず図 4, 図 5 にそれぞれ前処理を施していない加速度のデー
タと骨格検出より得られた人物の右手首の座標のデータを示す.
また, これらの図は振り方を 1 人横 1 人縦としたときのスマー
トフォンを縦に振っている人物に関するデータである.
図 3 から分かるように x の変位と y の変位を見比べると yの方が変位が大きく, 縦方向に振っていることが分かる. また,
図 5 では約 5.5 秒 ∼15 秒の間を見比べるとこちらも y の方が変位が大きく, 縦方向に振っていることが分かる. また, この区
間は手を上下に振っている区間であり, 0 秒 ∼5 秒や 15 秒 ∼20
秒と比べると外れ値は見受けられない. この理由は手の振っている区間以外はカメラから見ると手が体に隠れてしまうタイミ
ングがあり, 手首の位置を推定せざるを得ないため外れ値が見受けられる.
手を振っている区間はカメラから体に隠れず手首の位置を検出できる. そのため, 手を振っている区間にのみ着目してデバ
イスとスマートフォンのペアリングの方法について検討する.
次に表 3 の組み合わせで加速度データと人物の座標デー
タについて DTW を行った結果を表 5 に示す. 表 5 から加速度センサ A と人物 C,D どちらの DTW が近いかを見ると

DT W (A, C) < DT W (A, D) となる. そのため, 加速度センサ
A と類似度が高いのは人物 C であることが分かる. 同様に加速度センサ B と人物 C,D どちらの DTW が近いかを見ると

DT W (B, C) > DT W (B, D) となるため, 加速度センサ B と人物 D が類似度が高く, 今回のスマートフォンと人物の手首のの手首の座標のペアリングは (vA, vC), (vB, vD) となり, 正しいペアリングとなった.

4. 3 実験結果 2 : 2 人とも縦に振っているとき
図 6, 図 7 にそれぞれ前処理を施していない加速度に関するデータと骨格検出より得られた人物の右手首の座標データを示
す. また, これらの図は 2 人ともスマートフォンを縦に振っているときの時間変化である. 図 6 は 2 つの加速度データの y 軸方向に関する時間変化であり, y1 と y2 を比較すると y2 の方が変位の変わる間隔が短いことが分かる. そのため y1 よりも y2の方が速くスマートフォンを振っていることが分かる.
図 7 は骨格検出より得られた人物 2 人の右手首の y 座標に関する時間変化である. 約 5.5 秒 ∼15 秒の区間を見ると, 0 秒∼5 秒や 15 秒 ∼20 秒の区間と比べると外れ値は見受けられな
い. これは 1 人横, 1 人縦に振っているときと同様に手を振っている区間は体の正面でスマートフォンを振っているため, 正確に骨格検出ができる. そのため, 約 5.5 秒 ∼15 秒の区間の手を振っている区間についてのみ考えていく. 図 7 においても手を振っている区間の y2 の方が y1 より変位の変わる区間が短く,
スマートフォンを速く振っていることが分かる.
表 7 に加速度データと人物の座標データについて DTW を行った結果を示す. 表 7 から加速度センサ A と人物 C,D どち
らの DTW が近いかを見ると DT W (A, C) < DT W (A, D) となる. そのため, 加速度センサ A と類似度が高いのは人物 C であることが分かる. 同様に加速度センサ B と人物 C,D どちらのDTW が近いかを見ると DT W (B, C) < DT W (B, D) となる

表 8 2 人縦に振ったときの速度の DTW

vCvD

DT W (vAx , vCx ) = 2.3232 DT W (vAx , vDx ) = 2.4895
vA

DT W (vAy , vCy ) = 2.0107

DT W (vAy , vDy ) = 2.6482

DT W (vA, vC) = 4.3339

DT W (vA, vD) = 5.1377

DT W (vBx , vCx ) = 7.0558 DT W (vBx , vDx ) = 6.5239
vB

DT W (vBy , vCy ) = 3.3170

DT W (vBy , vDy ) = 2.4583

DT W (vB, vC) = 10.3728

DT W (vB, vD) = 8.9822の手首の座標のペアリングは (vA, vC), (vB, vD) となり, 正しいペアリングとなった.
図6

縦にスマートフォンを振っているときの 2 つの加速度データの変位の比較

次元を揃える前では間違ったペアリングとなっている. これは図 7 の y2 の座標変位を見ると, y1 より周波数は大きいが変位が明らかに小さい. そして図 6 の y2 の加速度の変位を見ると y1 より周波数が大きく変位が大きくなっている. そのため

DTW を行った際に変位に関して誤差が生じてしまい誤ってペアリングしてしまったと考えられる.
次 元 を 速 度 に 揃 え る と 縦 に 振った と き で あ る の で, 特 に
スマートフォン B と人物 D の y に関する DTW について,

DT W (By , Dy ) = 4.4749 が DT W (vBy , vDy ) = 2.4583 となり, 次元を速度に揃える前後で DTW の値が小さくなった. 次
元を揃えると加速度の変位を積分, 座標の変位を微分することになるため, 次元を揃える前の変位の誤差の影響を少なくすることができることが分かった.
図7

縦にスマートフォンを振っているときの 2 つの手首座標データの変位の比較

5 おわりに

表 7 2 人縦に振ったときの加速度と座標の DTW

C

D認証をする手法を提案した. 提案手法では 5G 通信網を利用しDT W (Ax , Cx ) = 4.1994 DT W (Ax , Dx ) = 7.5047
A DT W (Ay , Cy ) = 2.4492

DT W (Ay , Dy ) = 2.5976

DT W (A, C) = 6.6486

DT W (A, D) = 10.1023

DT W (Bx , Cx ) = 3.8608 DT W (Bx , Dx ) = 7.4939
B

本論文では加速度の値と骨格検出の座標変化から匿名の人物

DT W (By , Cy ) = 3.6077

DT W (By , Dy ) = 4.4749

DT W (B, C) = 7.4685

DT W (B, D) = 11.9688て加速度センサデータを送信し, 骨格検出の座標変化と情報の紐づけを行った. まず, 5G 通信網を通して WebSocket によりオンラインで加速度を低遅延で送受信することが可能であることが分かった. 提案手法では, 加速度データと座標データを前処理したのち, DTW を用いることによって二つの波形の類似度を測った. これにより, 次元の違う加速度データと座標デー

ため, 加速度センサ B と人物 C が類似度が高く, スマートフォ

タの類似度の判定を行えるようになった. また, DTW を行う

ン A,B どちらもと人物 C と類似度が高いと判定される.

際に, 次元を速度に揃えて類似度を測る手法も同時に検討した.

この場合, ペアリングした際の 2 つのスマートフォンと 2 人

実験より, 取得した加速度のデータと座標のデータを次元をの人物の DTW の合計が小さくなる方にすればよい. すなわち揃えずにペアリングする方法と, 次元を揃えてペアリングするDT W (A, C) + DT W (B, D) と DT W (A, D) + DT W (B, C)

手法の両方行い, 両者の検討, 比較を行った. 次元を揃えない方の大小関係を比較すればよく, DT W (A, C) + DT W (B, D) =法では 2 人が横と縦に振っている場合は正しくペアリングする

18.6174 > DT W (A, D) + DT W (B, C) = 17.5708 となるたことができた. 2 人が縦に振っている場合は誤ったペアリング

め今回のスマートフォンと人物の手首の座標のペアリングはとなった. そして次元を揃える方法では 2 人が横と縦に振って(A, D), (B, C) となり, 間違ったペアリングとなった.

いる場合と 2 人が縦に振っている場合, どちらも正しくペアリ

次に加速度のデータと人物の手首の座標に関するデータングできた.

表 8 から

次元を揃える前では加速度の変位, 座標の変位の影響を受け

DT W (vA, vC) < DT W (vA, vD) となるため, 加速度センサてしまい間違ったペアリングとなってしまうことが分かった.

A と類似度が高いのは人物 C であることが分かる. 同様にそのため速度に次元を揃えることが必要であることが分かった.

DT W (vB, vC) > DT W (vB, vD) となるため, 加速度センサ B

今後の展望としてまず今回の実験では 2 人で行ったため, さと人物 D が類似度が近い. よって今回のスマートフォンと人物

らに人数を増やして 3 人, 4 人の場合に正しくペアリングを行を 速 度 に 変 換 し た と き の DTW を 表 8 に 示 す.

いたいと考えている. また, 今回は手を振っている区間を動画

[3]

[4]

[5]

図 8 2 人縦に振っているときの y 方向パワースペクトル密度のペア 1

図 9 2 人縦に振っているときの y 方向パワースペクトル密度のペア 2のフレームを参考に目視で抽出したため, 区間の抽出を機械的に行いたいと考えている. さらに並行して研究している 5G 通
信網を通してリアルタイムで動画をサーバに送信すると本研究を合わせて, オンデマンドでなくリアルタイムで人物認証を行いたいと考えている.
また図 8, 図 9 に 2 人縦に振っているときの加速度データと座標データのパワースペクトル密度を示す. また, 図 8, 図 9 にはそれぞれ加速度データと座標データのそれぞれの y 方向のパ
ワースペクトル密度であり, 加速度データと座標データは正しいペアとなっている.
図 8, 図 9 より, 加速度データと座標データどちらも正しい組
合せではほぼ同じ周波数でパワースペクトル密度の値をとっている. またこのデータは加速度データと座標データの次元を揃えていない. このように周波数特性を用いてペアリングを行う
ことも今後の展望として考えている.

6 謝

辞本研究の一部は国立情報学研究所 CRIS 委託研究及び東京都立大学「ローカル 5G 環境を活用した最先端研究」の助成を受けたものである.

文

献[1] 守脇幸佑, 松村大吾, 八木康史. “人物属性を考慮した歩容認証,”
情報処理学会研究報告, Vol.2018-CVIM-212, No. 22.
[2] 産経新聞. “ピースサインから指紋、瞳に最寄り駅 ＳＮＳから盗まれる個人情報” https://www.sankei.com/article/
20200305-24TRH7EBQNJ3HHPFVIGFO3T5JY/繁田脩, 鏡慎吾, 橋本浩一. “動画像からの加速度センサ所有者の検出とその性能評価,” 計測自動制御学会東北支部, 249-12,2009.
繁田脩, 鏡慎吾, 橋本浩一. “加速度センサを有する運動物体の固定カメラ視野内における実時間識別,” 第 51 回自動制御連合講演会, セッション ID 730, 2008.
長友誠, 油健太郎, 岡崎直宣, 朴美娘. “カメラと加速度センサを用いたデバイスペアリング方式の提案とその評価,” 分散協調とモバイルシンポジウム, pp.172-178, 2018.