情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-422023/3/1

上腕の血流を止めて操作するゲーム
水野悟朗1,a)

蔵田直生1,b)

吉田航輝1,c)

村尾和哉1,d)

概要：ウェアラブルデバイス特有のセキュリティリスクとして，装着者の身体に攻撃して生体情報を操作する攻撃が考えられる．我々の研究グループでは上腕を圧迫して光電式脈波センサ値を改変する腕締め付けデバイスを提案している．血液中のヘモグロビンは入射光を吸収する性質があり，脈波到達の瞬間は血液量が増大するため反射光が減少する．そのため，上腕を圧迫して血液量を減少させることでセンサ値を改変できる．本研究では上腕の圧迫によって光電式脈波センサで計測される脈波を意図的に制御してプレイするビデオゲームである（1）横スクロールゲームと（2）早打ちシューティングゲームの 2 種類を実装した．また，実装したゲームをグランフロント大阪にある The Lab. で展示して来場者にプレイしてもらって体験評価を実施した．

1. 研究背景る攻撃可能性を明らかにするために，我々の研究グループ
では上腕を圧迫して光電式脈波センサ値を改変する（以後，近年，IoT（Internet of Things）機器がインターネット脈波制御とする）腕締め付けデバイスを提案している [2]．に接続されることで，IoT 機器が直接攻撃されるだけでな血液中のヘモグロビンは入射光を吸収する性質があり，脈く，IoT 機器を踏み台とした大規模な攻撃事例も発生して波到達の瞬間は血液量が増大するため反射光が減少する．

いる．この他にも，IoT 機器に搭載されているセンサに攻そのため，上腕を圧迫して血液量を減少させることでセン撃してセンサデータを利用する上流の機器などに誤った処サ値を改変できる．先行研究では，この事実に基づいてコ理をさせる攻撃も存在する．例えば，加速度センサ素子をンピュータ制御で上腕を圧迫して脈波制御を行うデバイス超音波で振動させて誤った結果を出力させる攻撃 [1] が存を実装している．本研究では，先行研究のデバイスを使わ在する．IoT 機器の中でも，身体に装着して利用するウェずに上腕圧迫による脈波制御を行ってプレイするビデオ

アラブルデバイスは直接インターネットに繋がらず，装着ゲームを提案する．提案するビデオゲームではデバイスを者が所持しているスマートフォンや小型 PC をゲートウェ使わずにユーザの手だけで上腕を圧迫することで脈波制御イとしていることが多い．また，専用アプリがデータを処を行う．以降，2 節で関連研究を紹介する．3 節で提案手理して，ユーザが結果をリアルタイムで閲覧可能でこまめ法について述べる．4 節で評価実験について述べ，最後にな充電が必要であるため管理が行き届いている．したがっ

5 節で本研究をまとめる．て，屋外やビルに放置されたことによるメンテナンス不備のセキュリティリスクは低い．そのため，ウェアラブルデバイス特有のセキュリティリスクとして，装着者の身体に攻撃して生体情報を操作する攻撃が考えられる．生体情報

2. 関連研究
本節ではセンサへの攻撃手法に関する研究と脈波計測を用いた研究を紹介する．

操作によって取得されたセンサ値は現にその値が生体内で生じているものを数値化したものである．センサが高精度

2.1 センサへの攻撃手法に関する研究であるほど操作された情報を正しく数値化するため，計測

Sharif ら [3] は，最先端の顔認証システムを効果的にだま以降のハードウェアやネットワーク，クラウドストレージすことができるメガネフレーム型のアクセサリーを生成すが強固なセキュリティを備えていたとしても，既存の技術る技術を提案している．Yamada ら [4] は，カメラのイメー

では攻撃を検知することは困難である．生体情報操作によジセンサが近赤外光に敏感であるという事実を利用して，

1a)
b)
c)
d)

立命館大学
goro.mizuno@iis.ise.ritsumei.ac.jp
naoki.kurata@iis.ise.ritsumei.ac.jp
kazuki.yoshida@iis.ise.ritsumei.ac.jp
murao@cs.ritsumei.ac.jp© 2023 Information Processing Society of Japan

撮影画像にノイズを加えることで顔検出を回避することができる発光眼鏡を提案している．Eykholt ら [5] は，実世界の計測対処物である道路標識にシールを張り画像認識の947情報処理学会 インタラクション 2023
IPSJ Interaction 2023

は MEMS ジャイロスコープを搭載したドローンに対してPPG value

結果を誤認させるアルゴリズムを提案している．Son ら [6]3B-422023/3/1

800700600500400300

攻撃者が意図的な音響ノイズを用いて無力化できるかを調PeakUpper arm is compressed

0105

図 1

査している．Troppel ら [1] は，加速度センサ素子に超音波15Time [sec]202530

上腕圧迫時の指先脈波波形を当てて任意の波形を出力させる手法を提案している．

Farrukh ら [7] は iPad に搭載されているモーションセンサデータを用いて，Apple Pencil で何を iPad 上に書いたのかを特定するサイドチャネル攻撃手法を提案している．Gazzari ら [8] は Myo アームバンドに攻撃して EMGと IMU データをハッキングし物理キーボードに入力されたキーストロークを推定する手法を提案している．Shenら [9] はカメラと人間の目の画像形成原理の違いに着目して，可視光を用いたブラックボックス型顔認証システムに対する新しい攻撃手法である VLA を提案している．このように，モノやセンサ，人に対する攻撃手法は多く提案さ

図 2

れているが，生体情報の操作による攻撃に関する研究は筆

ゲーム選択画面者の知る限り存在しない．

2.2 脈波計測を用いた研究
ウェアラブルデバイスで計測した脈波を利用する研究として，端ら [10] はウェアラブルデバイスで脈波の計測が正
図 3

しく行われないことを防ぐためにセンサの位置ずれを推定する手法を提案している．堤野ら [11] は，自動車運転時に加減速や車線変更のタイミングで心拍数が上昇したことによっての事故を防ぐために，ファンで体を冷やして心拍数を下げる安全運転支援システムを提案している．Yoshida
ら [12] は，装着部位ごとに脈波到達時間が異なることを利用して動的にウェアラブルデバイスの装着部位を推定する手法を提案している．このように，計測した脈波の情報を用いたシステムは提案されているが，脈波を制御することに着目した研究は筆者の知る限り存在しない．また，血圧値を計測するときに上腕に巻いたカフに空気を送り込んで血管を圧迫して血液の流れを止めている．そのため，血圧計測時は脈波を止める制御をしているが，本研究のように動的に脈波を制御するものではない．

3. 提案手法
3.1 脈波制御部
本研究では光電式脈波センサ（PPG センサ）を使用す
る．光電式とは，LED で 550nm 付近の緑色波長の光を皮膚表面に照射し，体組織によって反射した光を皮膚表面のフォトダイオードで受光する方式である．血中のヘモグロビンは入射光を吸収する性質があるため，脈波到達の瞬間は血流量が増大して反射光が減少することを利用して脈波を計測する．そのため，上腕を圧迫して血流量を減少させることで，上腕から指先にかけての末端部分ではセンサ値が小さくなる．血管に十分な圧力をかけることでその部位の脈波が減衰することは秋元ら [13] によって報告され© 2023 Information Processing Society of Japan

プレイ内容選択画面ている．図 1 に実際に上腕を圧迫したときの指先での脈波センサの値を計測した脈波波形を示す．縦軸はセンサ値，横軸は時刻，赤丸はピークを示す．左上腕にカフを装着して空気を送って圧迫した．左手指先には脈波センサ（pulsesensor.com 製 *1 ）を装着して指先の脈波センサの値を 30 秒間観察した．図 1 を見ると，上腕を圧迫している間は脈波のピークが取れないほど脈波センサの値が小さくなっていることがわかる．また，圧迫を止めて解放すると正常に脈波が計測できていることがわかる．本研究ではこの事実に基づいて，上腕を圧迫して脈波制御をしている状態かどうかを検出する．
提案手法では上腕圧迫で脈波のピークを消失させているときを圧迫状態，上腕圧迫していないときを未圧迫状態と定義する．先行研究 [2] でも使用している脈波のピーク検出プログラム*2 でピークが検出できている間を未圧迫状態とする．検出されたピークのうち，最新のピーク時刻を tとすると，ピーク検出プログラムで t + 1000 ミリ秒以上経過していてもピークが検出されない間を圧迫状態とする．

3.2 ゲーム
本研究で実装したゲームは図 2，図 3，図 4，図 5，図 6の 5 種類の画面から構成される．各画面はそれぞれゲーム選択画面（図 2），プレイ内容選択画面（図 3），チュート*1*2

http://pulsesensor.com/
https://github.com/WorldFamousElectronics/
PulseSensor_Amped_Arduino

948

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-422023/3/1

ୖ⭎ᅽ㏕୰

図 4

チュートリアル画面⌧ᅾ䛾⋓ᚓ䝇䝁䜰
⾑ὶ㔞 䠄⬦Ἴ䝉䞁䝃್䠅ᩛୖ⭎ᅽ㏕⤊஢
䝁䜲䞁䜻䝱䝷䜽䝍䞊

図 5 （1）のゲームプレイ画面

リアル画面（図 4），ゲームプレイ画面（図 5，図 6）である．本研究では，（1）横スクロールゲームと，（2）早打ちシューティングゲームの 2 種類のゲームを実装した．（1）䝅䝳䞊䝔䜱䞁䜾ᡂຌ

は脈波制御で画面中のキャラクタを動かして敵を避けながらコインを集めるゲームである．キャラクタは圧迫状態で画面の上方向へ，未圧迫状態で画面の下方向へ移動する．
コインに触れるとスコアが 1,000 増えて，敵に触れるとその時点でゲーム終了となる．コインと敵は画面の右から左方向へ一定の速度で流れる．ゲーム終了となると，最終スコアとこれまでのプレイ記録の中での最高スコアを画面に図 6 （2）のゲームプレイ画面表示する．
（2）は圧迫状態から未圧迫状態になるまでのタイムを

本編と異なる点はコインに触れてもスコアが増えないこ競うゲームである．初めにプレイヤは上腕を圧迫して圧迫と，移動できる範囲が半分ほどに狭められていること，敵状態にする．圧迫状態では画面上に緑色の照準が表示されに触れるとゲームオーバーではなくプレイ内容選択画面にる．次に，圧迫状態が検出されたときから 1∼5 秒のうちに遷移することである．
（2）のチュートリアルでは，圧迫状的が出現する．その後，的が出現するとタイム計測が始ま態で緑色の照準が表示され，圧迫状態が検出されてから 4

り，プレイヤは上腕圧迫をやめる．最後に，未圧迫状態が秒後に的が表示される．上腕圧迫をやめるタイミングが的検出されたら，タイム計測を停止してゲーム終了となる．

が出現するよりも前に行われた場合は失敗となり最初からもし，上腕圧迫をやめるタイミングが的が出現するよりもやり直しとなる．的が出現してから上腕圧迫をやめている前に行われた場合は失敗となり最初からやり直しとなる．と成功となるが，チュートリアルでは圧迫状態を行うとこゲーム終了となると，今回のタイムとプレイ記録の中でのろからやり直しとなる．

最短タイムを画面に表示する．

プレイヤは 2 つのうちのいずれかのゲームをゲーム選択

ゲームプレイ画面とチュートリアル画面では脈波データ画面（図 2）にて選択する．ゲーム選択画面では，画面中が計測されていることをプレイヤが確認できるように，画央上部にゲーム選択画面用のロゴ，画面中央下部に上から面左上に血流量（脈波センサ値）に応じて画像サイズが変

赤と青のボタンが配置されている（図 3）．青のボタンが化するハート形の画像を表示している．実際に，ハート形（1）のゲームのプレイ内容選択画面に遷移するボタンであの図形を表示している様子を図 4，図 5 に示す．また，両る．赤のボタンが（2）のゲーム内容選択画面に遷移するボゲームともにプレイヤがゲーム本編をプレイする前に脈タンである（図 3）．ページ遷移を行う方法は外部に接続さ波制御に慣れるためのチュートリアルを実装した．（1）のれたキーボードを用いて行う．画面に表示されたボタンのチュートリアルでは，圧迫状態でキャラクターを画面の上色と同じ色のキーを押すことでページ遷移が行われる．プ方向へ，未圧迫状態で画面の下方向へ移動させる．ゲーム

レイ内容選択画面ではチュートリアル画面に遷移するか，© 2023 Information Processing Society of Japan949

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-42
2023/3/1

ゲームプレイ画面に遷移するかを選択する．プレイ内容選択画面では画面中央上部にそれぞれのゲームのタイトルロゴ，画面中央下部に上から赤と青のボタンが配置されている．赤色のボタンはチュートリアル画面に，青色のボタンでゲームプレイ画面にそれぞれ遷移する．チュートリアル
画面の構成は，どちらのゲームも画面中央より下がゲームを描画する部分，画面中央にゲームプレイ画面に遷移するためのボタン，画面上部にチュートリアルの文字とそれぞれのゲームのプレイ方法の説明を記述している．

3.3 実装脈波制御部は先行研究でも使用している脈波のピーク検出アルゴリズムの Arduino プログラムを使用した*3 ．また，現在時刻，脈波センサ値，圧迫状態のフラグ値の 3 つ

図 7

実装したゲームを展示している環境の数値を PC へ 100Hz で送信した．Arduino に接続する脈はプレイ回数，プレイ時間（最大，最小，平均，中央）の波センサは pulsesensor.com 製を使用した．

5 種類を算出した．また，一部の来場者には展示会場のス

ゲーム部は Python で実装した．Arduino から PC に送られてきた現在時刻，脈波センサ値，圧迫状態のフラグ

タッフによってゲームをプレイした感想とゲームの難易度について回答してもらった．

を PC で受信してゲーム部で使用した．外部キーボード（vaydeer 製の 4 点キーボード）を PC に接続して，プレ4.2 結果と考察イヤがボタンを押すことでページ遷移を行うようにした．

表 1 に各ゲームプレイにおける評価指標を算出した結キーキャップには赤，青，緑，黄の 4 色のシールを貼付し果，表 2 に各ゲームのチュートリアルにおける評価指標をた．赤と青のシールが貼られているキーは画面内のボタン算出した結果を示す．また，ゲームをプレイした感想の回の色と連動している．残りの黄と緑はプレイヤが誤ったボ答の一部を表 3，ゲームの難易度の回答の一部を表 4 にそタンを押してしまったときに使用するキーであり，黄のれぞれ示す．表 1 より，プレイ回数に着目すると（2）のシールが貼られているキーはゲームセレクトに戻り，緑の方が 1,000 回以上多いことがわかる．（2）は脈波制御を 1シールが貼られているキーはひとつ前のページに戻る．

回だけすればゲームクリアとなることから，（1）に比べて4. 評価実験
4.1 実験環境

短時間で簡単に繰り返し遊べたためだと考えられる．長時間遊ぶことを想定した（1）のプレイ時間に着目すると平均約 37 秒であり，1 回あたりが短時間であることがわかる．

実装したゲームをグランフロント大阪にある The Lab.

また，（1）のスコアに着目すると中央値が 0 点であることで展示して来場者にプレイしてもらった．図 7 に展示してがわかる．これらの要因として，的確に血管を押さえて脈いる環境を示す．実装ゲームは 2 台分を設置した．机上の波制御をすることが初見では難しく，体験者の思うような中央には手形をモチーフにした手の置き場を設置して，手プレイが出来ずにゲームが終了したためと考えられる．ま形の中指の部分には脈波センサを取り付け，手形の横に外た，（2）のプレイ時間やスコアに着目すると，最大値が平部キーボードを設置した．机横にはそれぞれのゲームのプ均値や中央値と比べてかなり大きいことがわかる．これはレイ方法と脈波制御の方法の説明を記述した遊び方のポス

未圧迫状態が正しく検出されなかったために思うようなターを設置した．

操作ができずにプレイ途中に放置したと考えられる．加え

展示開始日である 2022 年 10 月 5 日から 11 月 25 日 17:30て，表 4 でも脈波制御が難しいといったゲームの難易度にまでに採取したログのうち，プレイ開始からスコア表示関する否定的な意見が多い結果となった．一方で，解剖のまでを 1 プレイずつ切り出した 6724 件とチュートリアル経験があるなどの医療に精通したプレイヤであれば，血管の開始から終了までを１プレイずつ切り出した 1576 件のの位置を理解しているために脈波制御を容易に行うことがデータを評価対象とした．評価指標として，ゲームプレイできるといった回答も得られた．以上のことから，各ゲー

ログのデータについてはプレイ回数，プレイ時間（最大，ムに難易度を設けるなどプレイの放置をなくすような改良最小，平均，中央），スコア（最大，最小，平均，中央）のと，医療に精通していなくても的確に血管を押さえられる9 種類を算出した．チュートリアルログのデータについて位置をより明確に掲示する必要がある．

*3

https://github.com/WorldFamousElectronics/
PulseSensor_Amped_Arduino© 2023 Information Processing Society of Japan

チュートリアルの結果に着目すると，表 2 よりプレイ回数は（1）の方が 196 回多い．
（1）は操作するキャラクター

950

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

表 1

ゲーム本編のプレイログから算出した各指標の結果
評価指標

ゲーム種類

プレイ時間

スコア案した．本研究では，横スクロールゲームと早打ちシュー（2）2815 回

3909 回最大501.135 秒

3174.018 秒

最小15.944 秒

1.5 秒

平均37.221 秒

27.313 秒

今後の予定として，脈波制御部の性能評価や展示期間全ティングゲームの 2 種類を実装した．また，実装したゲームをグランフロント大阪内の The Lab. にて展示し，来場者による体験評価を実施した．

中央

28.607 秒

15.653 秒

体における体験評価を実施する予定である．また，ゲーム

最大

21000 点

50.786 秒に難易度設定を行ってプレイ途中で中断されにくいゲーム

最小0点

0.204 秒に改良する予定である．

平均957.726 点

3.296 秒

中央

0点

2.129 秒

チュートリアルのプレイログから算出した各指標の結果
評価指標

参考文献
[1]

ゲーム種類
（1）

（2）

886 回

690 回

最大

419.742 秒

969.719 秒

最小

1.117 秒1秒

平均

13.272 秒

22.491 秒

中央

6.939 秒

7.042 秒

プレイ回数

プレイ時間

る脈波を意図的に制御してプレイするビデオゲームを提（1）
プレイ回数

表 2

3B-422023/3/1

表 3 体験の感想に関する意見
・ハイスコア更新を狙って

[2]

[3]

[4]

グループでかわるがわるプレイしていた．
・展示の趣旨をもうちょっとパネルとかで知りたいですね．
・不整脈の人とか，これやっても大丈夫なんですかね．

[5]

表 4 ゲームの難易度に関する意見・反応が良くないときはありましたが，難しさは感じなかった．
・自分でキャラクターを操作している感じはありました．

[6]

・解剖をしていたから脈を止めるのは得意．
・思ったように動かないから難しい．
・いかに脈波を鎮めるかが難しすぎる．

[7]

・難しいです．強く抑えすぎて疲れちゃいました．
・難しいけど面白かったです．

が敵に当たりゲームオーバーになるとプレイ内容選択画面[8]に遷移するため，（2）に比べてプレイ回数が多くなったと考えられる．
（1）のゲームは長時間遊ぶことを想定していたが，チュートリアルのプレイ時間は平均 13.272 秒であ[9]り，1 回あたりが（2）のゲームより短くなっている．また，（2）のチュートリアルのプレイ時間についてプレイログ同様に最大値が平均値や中央値と比べてかなり大きいことが[10]分かる．この要因として，（2）のゲームが（1）のゲームに比べてゲームルールの理解が難しかったこと，未圧迫状[11]態が正しく検出されなかったため思うような操作ができずにプレイ途中で放置されたことが考えられる．そのため，[12]

ゲーム内容を理解を助けるためにプレイ方法の提示方法に変更を加える必要があると考えられる．

5. まとめ本研究では上腕の圧迫によって PPG センサで計測され© 2023 Information Processing Society of Japan[13]

T. Trippel et al.: WALNUT: Waging Doubt on the Integrity of MEMS Accelerometers with Acoustic Injection
Attacks, EuroS&P2017, pp. 3–18 (2017).
吉田航輝ら：脈波の消失を体内で実現して脈波計測値を改変するための腕締め付けデバイス，UBI73，Vol. 2022MBL-102，No. 15， pp. 1–8 (2022)．
Mahmood Sharif et al.: Accessorize to a Crime: Realand Stealthy Attacks on State-of-the-Art Face Recognition, In Proc. of the 2016 ACM SIGSAC Conference on
Computer and Communications Security, pp. 1528–1540,
2016.
T. Yamada et al.: Privacy Visor: Method Based on
Light Absorbing and Reﬂecting Properties for Preventing Face Image Detection, 2013 IEEE International
Conference on Systems, Man, and Cybernetics, pp.
1572–1577, 2013.
Kevin Eykholt et al.: Robust physicalworld attacks on
deep learning visual classiﬁcation, In Proceedings ofConference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 1625–1634, 2018.
Yunmok Son et al.:Rocking drones with intentionalsound noise on gyroscopic sensors, 24th USENIX Security Symposium (USENIX Security 15), pp. 881–896,
Washington, D.C., August 2015.
Habiba Farrukh et al.:S3: Side-Channel Attack on Stylus Pencil through Sensors., In Proc. of the ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 5, No. 1,pp. 1–25, March 2021.
Matthias Gazzari et al.: My(o) Armband Leaks Passwords: An EMG and IMU Based Keylogging SideChannel Attack, In Proc. of the ACM Interact. Mob.
Wearable Ubiquitous Technol., Vol. 5, No. 4, pp. 1–24,December 2021.
Meng Shen et al.: VLA: A Practical Visible Light-based
Attack on Face Recognition Systems in Physical World,
In Proc. of the ACM Interact. Mob. Wearable UbiquitousTechnol., Vol. 3, No. 3, pp. 1–19, September 2019.
端智士ら：血圧脈波の特徴量を用いたウェアラブルデバ
イスの位置ずれ量推定，生体医工学，Vol. Annual57，No.
Abstract，pp. S35 2–S35 2，2019．
堤野理貴ら：脈拍データに基づくファンの風を用いた安全運転支援システムの開発，2019 年度情報処理学会関西支部支部大会講演論文集，No. 2019，sep 2019．
Kazuki Yoshida et al.: Load Position Estimation
Method for Wearable Devices Based on Diﬀerence inPulse Wave Arrival Time, MDPI Sensors, Vol. 22, No.3,pp. 1090, 2022.
秋元優摩ら：手で上腕を圧迫することによる脈波制御を用いたウェアラブルデバイス入力インタフェース，研究報
告ヒューマンコンピュータインタラクション (HCI)，Vol.

951

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-42
2023/3/1

2020，No. 19，pp. 1–8，2020．

© 2023 Information Processing Society of Japan952