立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ]生体電位を用いたウェアラブルデバイス向け動作認証方式の開発
Development of a Biopotential-Based Motion Recognition Method for Wearable Devices
2221002

研究代表者

産業技術総合研究所

研究員

飯

島

涼

よって生じる電位で，両目の間に位置する電極[研 究 の 目 的]によって取得することができる。VR 向けのウェアラブルデバイスによって人の生体デー

ヘッドマウントディスプレイや，JINS MEME，タを取得し，活用する時代の到来にさきがけ，AR グラスなど，目の付近に装着するデバイス

ウェアラブルデバイスのセンサで取得可能な生が普及しつつあるが，ウェアラブルデバイスに体電位を用いて，個人認証を行う技術の開発を最適な認証方式が開発されておらず，認証シス目的とする。従来の認証に残されているセキュテムが搭載されていない状態である。EOG のリティ問題・ユーザビリティ問題を解決するた取得には，特別な医療機器を必要としないため，め，人の動作によって生じた電位から，個人ご従来の生体電位認証に比べてより安価に実現すとに生じる特徴を抽出し，認証に利用する。他ることが可能である。具体的には，まばたき・の動作と同時に行える動作に着目し，(1) 早く，ウィンクのような，300 ミリ秒以内に完結する(2) 単純で，(3) 誰でも利用可能な動作認証シ動作によって，生じる EOG の特徴を認証に用ステムを開発・評価する。本認証システムの開いる。本認証方式を BlinkAuth と名づけ，認発により，従来の顔認証・音声認証と比べてよ証方式のデザイン・ユーザスタディ・認証モデ

り頑健なセキュリティ認証技術を確立するととルの構築を実施した。

もに，体が動かせない人，運転中・料理中など，

1. 1

手法

他の動作中で手が離せない人，声が出せない人

認証方式のワークフローを図 1 に示す。認証など，あらゆる人が動作認証を利用できる世界に 至 る ま で の 流 れ は，(ⅰ) EOG 計 測，(ⅱ)の実現を目指す。

前処理，(ⅲ) 特徴抽出，(ⅳ) 認証モデル構築の 4 つで構成されている。以下，簡単にそれぞ[研究の内容，成果]れの手順を説明する。
(ⅰ) EOG 計測

1 まばたきによって生じる電圧を用いたウェ

デ ー タ 取 得 に は，JINS MEME Academic

アラブルデバイス向け動作認証方式の提案
上記の目的を達成するため，申請の期間内では，「眼 電 位 (ElectroOculoGram, 以 下 EOG)を用いたウェアラブルデバイス向け動作認証システムの開発と評価」を目標とし，研究・開発を 実 施 し た。EOG と は，眼 球 が 動 く こ と に― 1 ―図1BlinkAuth のワークフロー

立石科学技術振興財団

Pack を利用する。EOG 計測のイメージ図を図2 に示す。JINS MEME においては，メガネの鼻パッド，ブリッジの部分がセンサとなっており，各センサで計測された電位をもとに右目，左目それぞれの電圧を計測する。電圧のうち，縦方向の電圧を EOG v，横方向の電圧を EOG hと表記する。本研究では主に，まばたき時に大き な ピ ー ク を 示 す EOG v を 対 象 と し，単 にEOG と 呼 ぶ こ と に す る。ユ ー ザ ス タ デ ィ に

図3

よって，31 人を対象に，無意識なまばたき，EOG の波形例と時系列特徴意図的なまばたき，右目のまばたき，左目のま価を実施した。(ⅲ) で抽出した特徴量を用いばたきをそれぞれ 180 回ずつ取得した。て，本人と他人のデータ割合が等しくなるようにアンダーサンプリングを実施した後，学習
データ：テストデータ=8:2 となるように分割した。それぞれのモデルについて，5 段階の交差検証を実施し，さらにグリッドサーチにより，ハイパーパラメータチューニングを実施し，最適なパラメータ条件での評価を行った。

図2

左：一般的な EOG 計測，右：JINS MEME によるEOG 計測1. 2

評価結果

バイオメトリクス分野において，精度・エ(ⅱ) 前処理

ラー率の計測の際にスタンダードとなっている，(ⅰ) によって得られた EOG 波形に対して，ROC(Receiveroperatingcharacteristic)，まばたき箇所の抽出処理，エラー波形検出・除AUC (Area under the curve) ス コ ア，EER去処理を実装した。これにより，メガネに生じ(Equal Error Rate) によって評価を実施した。

た振動や，まばたき以外の波形を取り除くこと

AUC，EER はそれぞれモデルのトレードオフが可能となる。

を考慮した指標であり，AUC は精度，EER は(ⅲ) 特徴抽出

エラー率を表す。

前処理を行った波形から，個人ごとに異なる

図 4 に，検証した各モデルの ROC を，表 1と考えられる特徴を抽出する。特徴抽出の種類に AUC，EER，F1 スコアを示す。表 1 より，として，波形を時間軸でとらえたときに生じるすべてのモデルにおいて，AUC=95% 以上を特徴を時系列特徴，FFT による周波数解析に達成しており，高精度に認証が可能なモデルをよって得られる特徴を周波数数特徴と定め，それぞれ抽出処理を実装した。図 3 に，得られた波形と，波形から得られる時系列特徴のイメージ図を示す。
(ⅳ) 認証モデル構築
認証用に用いるモデルは，古典的な非線形モデルとして SVM，決定木を利用したモデルとして Random Forest と XGBoost (以下 XGB)，
深層学習モデルとして単純な MLP を用いた評― 2 ―

図 4 各認証モデルの ROC

Tateisi Science and Technology Foundation

表1Scale) を用いて行う。これは，実際にユーザ各認証モデルの評価値

ModelAUC

EER

F1

SVM

0.967

0.0730

0.926

XGB

0.992

0.03470.967

RF0.9900.04630.956ある。さらに，自由記述回答として，Q:「もしMLP

0.973

0.06320.930BlinkAuth を日常生活の中で使うとしたらどんがシステムを利用後に，10 個の質問によってユーザビリティを 100 点満点で評価するものでな場面で利用ができると考えられるか？」を調構築することが可能である。EER を比較する査した。と，EER=3.47% となる XGB が最も高精度に2. 2

評価結果認証を行えるモデルであることがわかる。さらリアルタイム認証による評価結果を図 6 左になる精度向上のために，まばたき検知アルゴリ示す。認証の処理時間の中央値は 0.3 秒であり，ズムの精度向上，個人間の特徴をとらえた特徴

まばたき動作そのものの動作が 0.3 秒であるこ量の増加などが考えられる。とを考えると，全体で 0.6 秒で完結する認証方式であるといえる。従来ウェアラブルデバイス

2

EOG 認証BlinkAuth のユーザビリティ

で用いられている認証方式は，現状 PIN やパ検証

スワードの認証が主であるが，その認証時間は，前章までで認証デザイン・基礎評価を実施しPC 上で 7.5 秒，スマートフォンやタブレット

た EOG 認証方式 BlinkAuth の，リアルタイム上で約 12.8-13.2 秒かかることがわかっている。

認証システムを開発し，パフォーマンス・ユーほかの動作認証方式と比較しても，1 秒未満にザビリティ検証を実施した。

認証が完結するものは前例がなく，本研究は最2. 1も早く完結する動作認証方式と位置づけること

手法

図 5 に，リアルタイム認証方式の実装概要をが で き る。図 6 右 に，SUS の 結 果 を 処 理 し，示す。JINS MEME から EOG データを受け取100 点満点で評価した場合の結果を示している。

るソフトウェアを開発し，リアルタイムでまばSUS の最終スコアは中央値が 81.25 となった。

たき波形検知が行えるよう，queue によるバッ

SUS 最 終 ス コ ア の 統 計 値 に よ れ ば，SUS がファ処理を実施した。バッファ上で検知したま80.3 を上回るシステムは最上位のユーザビリ

ばたき波形に対して，1. 1 章で説明した前処

ティとして Rank A とされている。本研究で実理・特徴抽出を行う。認証モデルは，すでに存装した認証方式は，高精度かつ，ユーザにとっ在する学習データと，あらたに応募した参加者ても利用しやすいユーザ認証方式であることがのデータの一部を混ぜることで作成する。

示された。

本実験のために新たに 12 人の参加者を募集し，認証にかかる時間，および，認証後に調査したユーザビリティ評価について報告する。
ユーザビリティの指標は，HCI 分野でデファ
ク ト と な っ て い る SUS (System Usability
左：認証の処理時間，右：SUS Final Score の箱ひげ図。
数値はそれぞれ中央値を示している。

図6

リアルタイム認証の評価結果

さらに，自由記述式回答で得られた認証方式
BlinkAuth の課題と，今後有望であると考えら
図5

リアルタイム認証方式の実装れる利用ケースをまとめる。
― 3 ―立石科学技術振興財団

Q:「もし BlinkAuth を日常生活の中で使うとて，180 個ずつのまばたきデータを収集する。

したらどんな場面で利用ができると考えられるその際の認証モデルのエラー率の変化を見るこか？」とで，時間ごとの傾向を明らかにする。図 7 に，著者らが示した利用例以外に，ユーザの手が各時間のエラー率を示している。Time は時系ふさがった状況下での利用例について提案が多列特徴のみ，Frequency は周波数特徴のみ，Allく見受けられた。例えば，「スマートフォンやは両方を合わせて利用した場合のエラー率とカードをタッチする代わりに，まばたきで改札な っ て い る。All に 着 目 す る と，10 : 00 か らやチケットゲートを通れるようにしてほしい」

16 : 00 にかけて徐々にエラー率が下がり，18 : 00

(User ID 58)，「手がふさがっているときに，に 0.5- 1 % 程度エラー率が上昇していること

家やホテルのオートロックをまばたきで解除しがわかる。10 : 00-16 : 00 にかけては，ユーザがたい」(User ID 44) といったコメントがあっ

認証動作に慣れることにより，動作が安定し，た。そのほか，お年寄りや子どもなど，パス結果として精度向上につながったと考えられる。

ワードに理解のない・覚えることが難しい層へ

この結果から，ユーザが早く動作になれるための普及などが含まれていた。その他の自由記述の認証データ登録インタフェースデザインが重回答に対する考察は成果 [2] および投稿中の要となる。さらに，18 : 00 のエラー率上昇から国際会議論文に示している。

は，遅い時間帯となり，ユーザの疲れがまばたき動作に影響を及ぼす可能性が示唆される。

3

EOG 認証のロバスト性検証
前章までで，基礎評価，ユーザビリティ評価

により，BlinkAuth の実現可能性を評価した。
本章では，実世界で生じうる利用上の変化に対してどの程度ロバストであるかを確認するための追加検証を実施した。具体的には，(1) 時間による経時変化の影響，(2) なりすまし攻撃の評価，(3) 肌状態の変化による影響 (4) 運転

図7中など，動作中に BlinkAuth を利用した場合

Short period 評価におけるエラー率の変化の影響，の 4 つの観点から調査した。本報告書

Long Period：1 章で募集した 31 人に対して，では，ページの都合上 (1) の結果を掲載する。

7-10 日後に，1 章と同様のデータ計測を行い，3. 1その際のエラー率を検証する。図 8 に，1 回目

時間による経時変化の影響

動作によって得られる生体信号は，時間にのデータ計測の結果 (Base，1 章参照) と，後よって変化することが指摘されている。時間経日行った 2 回目の結果 (1 week later) を示す。

過によって生体信号に変化があると，認証する結果より，2 回目の計測では，5.42% 程度 EER際の誤り率の増加につながるため，そのようなが増加していることがわかる。これは，参加者現象が起こりうるかをあらかじめ計測する必要が 7-10 日間の間，一度も認証を意識したまばがある。本研究では，同じ日付中に，時間を変たき動作を行わなかったためであると考えられえて計測した場合を Short period，異なる日付る。

で後日計測した場合の評価を Long period とし， 精度向上のための対策：疲れ目や，長時間認証評価を実施した。

を行わないことにより，精度が低下する可能性

Short Period：13 人の実験参加者に対して，について言及した。対策として，ユーザが認証

10 : 00, 12 : 00, 14 : 00, 16 : 00, 18 : 00 の 5 回に分け動作を行うたびに，試行データをもとに認証モ― 4 ―Tateisi Science and Technology Foundation

デルを更新する incremental learning や online

用 化，EMG 認 証 の ロ バ ス ト 性・ユ ー ザ ビ リ

training を行うことが考えられる。疲れている

ティ評価などが課題となる。本研究で得られた状態や，風邪等の状態で同様の動作が行えない生体信号処理の知見にもとづき，生体信号周辺場合，長時間認証動作を行わなかった場合のに存在するセキュリティ・プライバシー問題のデータなど，あらゆる状況でデータ取得が行い，解決に向けた研究開発を今後も推進する予定で逐次学習により認証モデルを改善することが望ある。

ましい。
最後に，本研究に対する立石科学技術振興財団の研究支援に心より感謝申し上げます。
[成果の発表，論文など][ 1 ] Ryo Iijima, Tatsuya Takehisa, and Tatsuya
Mori. 2022. Cyber-Physical Firewall: Monitoring
and Controlling the Threats Caused by Malicious
Analog Signals. In the proceedings of 19th ACM
図8

1 回目の計測と，2 回目の計測での ROC, EER 結果

International Conference on CF ʼ22, May 17-19, 2022
[ 2 ] 飯島 涼，竹久達也，大木哲史，森 達哉，まば4 認証方式のフレームワーク化・筋電位認証

たきによって生じる電圧を用いた認証方式の提案，
コンピュータセキュリティシンポジウム 2022, 2022への応用

年 10 月 CSS2022 優秀論文賞受賞

BlinkAuth で作成した認証ワークフロー (図[ 3 ] 渡部晃久，飯島 涼，森 達哉，手首の表面筋電1) について，ほかの生体電位でも利用できる位を用いたスマートウォッチ向けジェスチャ認証方

よう一般化・フレームワーク化を行い，筋電位式，情 報 通 信 シ ス テ ム セ キ ュ リ テ ィ 研 究 会(EMG) による認証においても同様に利用可能であることを示している (成果 [3] 参照)。今後，フレームワークの公開，BlinkAuth の実利― 5 ―(ICSS2023)，2023 年 3 月
その他，[2] をセキュリティ系国際会議に投稿中．