情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A10
2021/3/10

ディスプレイを用いた脈波生成手法の検討
藤井 敦寛1,a)

村尾 和哉1,2,b)

概要：ウェアラブルデバイスに関する研究は活発に行われており，様々な形状，装着部位のデバイスが提案されている．ウェアラブルデバイスは自身の生体情報を記録するために利用される場合が多く，取得されたデータから身体異常を検知する手法も提案されている．脈波データは生体情報として記録される情報の一つである．脈波センサは機構の特性上，データの取得に血流を必要とする．義手やロボットアームなど人工的な身体にスマートウォッチを装着する場合，血流が存在しないため正しいデータが取得できない．
そこで，ディスプレイを用いて脈波センサに脈波データを計測させる手法を検討する．本手法が実現すれば，身体と義手の接合部などで計測された脈波を入力することで，その値をスマートウォッチに読み取らせることが可能となる．本研究では，アプローチの実現可能性を調査するために，ディスプレイの色調を変化させることで，脈波センサの取得値を意図的に操作することが可能であるか調査した．予備実験として，ディスプレイの色調を変化させながらディスプレイ上に設置した脈波センサからデータを取得した．
その結果，ピークの存在するデータが取得できた．したがって，脈波センサに任意の脈波データを計測させるためにディスプレイを用いるアプローチは有効であると考えられる．

1. はじめに測可能な身体部位に装着して，何からの通信手段を用いてセンサデータを収集する必要がある．しかし，仮に収集し健康管理への意識の高まりから，自身の生体情報を記録たとしても，スマートウォッチが提供するアプリにデータするウェアラブルデバイスが広く普及している．記録するを与えてサービスを利用することはハードルが高いため，生体情報は活動量や呼吸数，体温などさまざまな情報があスマートウォッチに搭載されているセンサに計測させたい．

り，心拍数もそのひとつである．心拍数を取得するためにしかし，計測可能部位にスマートウォッチを装着すると，用いられる脈波センサは，緑色の LED を皮膚に照射して，本来のスマートウォッチとしての機能（時計やディスプレ血管を通して反射した光の変化から脈波を計測する光電式

イ表示，タッチ操作）が利用できなくなるため，スマート

容積脈波記録法（PPG）と呼ばれる方式のものが一般的でウォッチ本来の使用形態である手首に装着して脈拍などのあり，市販のスマートウォッチに導入されている．スマー

生体情報を計測できるようにすることが望ましい．

トウォッチのセンサから取得できる心拍データを用いて疲

本研究では，ディスプレイを用いて脈波センサに脈波労度を検出する手法を今井ら [1] が提案しているなど，脈波データを計測させる手法を検討する．ディスプレイの表示センサから得られるデータを使用した研究は盛んである．

を変化させることで任意の脈波データを脈波センサに読みしかしながら，義手やロボットアームなど人工的な身体取らせることができれば，義手やロボットアームなどの人には血流が存在しないためスマートウォッチを生身の身体工的な身体にスマートウォッチを装着する場合でも，身体と同様に手首に装着して生体情報を計測することはできなと義手の接合部などで計測された脈波を入力することで，い．通話やメッセージ，時計などのスマートウォッチの機その値をスマートウォッチに読み取らせることができ，ス能や加速度センサや GPS などのセンサは人工的な身体でマートウォッチが提供する機能を生身の身体と同様に利も利用できるが，生体情報の計測はできない．このように，用できる．また，人工的な身体にディスプレイを搭載する

人工的な身体において生身の身体で利用できていたインタのみでスマートウォッチには手を加えないため，市販のスフェース，デザイン，プロトコルが利用できない問題があマートウォッチをそのまま利用できる．このほか，遠隔地る．この問題を解決するには，現状では追加のセンサを計のロボットアバタに適用すれば，操作者の生体情報をアバ

12a)b)

立命館大学大学院情報理工学研究科
科学技術振興機構さきがけ
atsuhiro.fujii@iis.ise.ritsumei.ac.jp
murao@cs.ritsumei.ac.jp© 2021 Information Processing Society of Japan

タの身体でも計測できるようになる．本稿では，ディスプレイによる脈波生成の予備段階として，あらかじめ収集された実際の脈波データを参考にして，ディスプレイの色調

475

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A10
2021/3/10を変化させることで，任意の心拍数を計測させる手法を提となくウェアラブルデバイスの装着部位を推定する手法を案する．ディスプレイを用いて脈波センサに脈波データを提案している．

計測させることができるかを確認し，提案手法の有効性を明らかにする．

2. 関連研究
本節ではウェアラブルデバイスのセンシング，脈波データの利用に関する研究を紹介する．

このように，ウェアラブルデバイスは様々な形状のものが提案されており，装着部位も広範囲であることから，活発な研究が行われている．

2.2 脈波データの利用
ウェアラブルデバイスは生体情報を取得するために用いられる．Spinsante ら [9] は低強度の身体活動時にスマート

2.1 ウェアラブルデバイスのセンシング
Ham ら [2] はスマートグラス用の入力デバイスとして，ウォッチから取得される心拍数に注目し，その精度を計測している．Han ら [10] はスマートウォッチから取得されリストバンド型のデバイスを提案している．このデバイス

た脈波データから心房期外収縮（PAC）および，心室性期はタッチパネルと慣性計測ユニットを搭載しており，タッ外収縮（PVC）を検出する手法を提案している．これらはチや手首をひねるなどのモーションで操作ができる．手首

ウェアラブルデバイスから取得された脈波データを用いたにデバイスを装着することで使用できるため，ユーザは動研究である．人工的な身体ではウェアラブルデバイスを装きを制限されず，自由度が高い．また，ポインティングに着しても生体情報を収集できないため，これらの応用を利はタッチパネルを使用することで，入力の安定性を向上用できない．これに対して筆者らは人工的な身体であったさせた．Hernandez ら [3] は頭部装着型のウェアラブルデとしてもウェアラブルデバイスにセンサデータを計測させバイスである，Google Glass に内蔵された加速度センサ，ることで，生身の身体と同様にこれらの応用を利用できるジャイロセンサ，カメラから脈拍数と呼吸数を認識する手ようにするものである．

法を提案している．Nishajith ら [4] は，視覚障害者の状況認識を支援するウェアラブルデバイスとして，スマート3. 予備実験

キャップの設計と実装を行った．デバイスは Raspberry Pi

本節では，提案手法の実現可能性を調査するため行った

3，Raspberry Pi NoIR Camera V2，イヤホン，電源から予備実験について説明する．予備実験として，ディスプレ構成される．Raspberry Pi NoIR（No Infrared） Camera

イ上に脈波センサを貼り付けた状態で，ディスプレイの色

V2 とは Raspberry Pi の赤外線カメラモジュールである．

調を変化させたときの脈波センサの取得値を観察した．

この赤外線カメラで得られる画像から検出された対象物について，イヤホンを通して音声で説明する．これらはいず

3.1 データ収集

れも身体部位に装着するウェアラブルデバイスに関する研事前に実際の脈波データを 20 代男性 1 名から収集した．

究であり，様々な形状のデバイスを用いた研究が行われて

図 1 の左図に示すように，左手人差し指に光電式容積脈いる．

波記録法の脈波センサ（pulsesensor.com 製）を装着した．

さらに，デバイスの装着部位も多岐にわたる．Vahdat-脈波センサは ArduinoUNO を介して PC に接続しており，

pour ら [5] は 25 人の被験者に頭部，胸部，両上腕，両前腕，サンプリング周波数は約 90Hz で 10 秒間データの収集を腰部，両大腿部，両脛部の計 10 箇所に加速度センサを装行った．

着してもらい，日常行動下の加速度データを収集した．収
集したデータから SVM（Support Vector Machine）を用

3.2 実験方法

いて，平均 89%の精度で装着部位を推定した．Timo ら [6]データ収集で使用した PC とは異なる PC（SurfaceLap-

は 15 人の被験者の頭部，胸部，左上腕，左手首，腰部，ズtop）のディスプレイの色調を変化させた．図 1 の右図にボンの左ポケット，左足首の計 7 箇所に加速度センサを装示すように，ディスプレイ上に脈波センサを乗せ，光が入着し，様々な身体活動における加速度データを収集した．

らないように布で覆ったあと，ガムテープで固定した．事収集したデータから Random Forest を用いて装着部位を前に脈波データを収集したときと同じ条件でデータの取得推定し，平均 89%の精度を達成した．Kunze ら [7] は 6 人を行った．ディスプレイの色調の変化には JavaScript を使の被験者の右手首，右目付近の側頭部，ズボンの左ポケッ用し，ブラウザの背景色を変化させることで制御した．事

ト，左胸のポケットの計 4 箇所に加速度センサを装着し，前に収集した脈波データを 1 サンプルずつ読み込み，その歩行動作におけるデータを収集した．収集したデータか値に応じた 3 色で表示を繰り返す．全サンプルの処理が終ら C4.5 分類木を用いて装着部位を推定した．また，筆者了した場合，同じデータで再び処理を行う．

ら [8] はウェアラブルデバイスで取得可能な生体情報であ表示する色は，次式により定義した．

る心電と脈波を利用し，特定の行動を装着者に行わせるこ© 2021 Information Processing Society of Japan476情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A102021/3/10

スマートウォッチ
⾊データ識別モデル
ディスプレイ脈波センサ(  参考にする脈波の取得⽅法

図 3

脈波センサの取得値の変化(⽣成した 脈波の取得⽅法

イに表示する色を自動で決定し続ける必要がある．そのた

図 1 脈波データの取得方法

め，脈波データを入力することでディスプレイに表示する
Subject
Generated

750
700

5. まとめ

Pulse sensor value

650
600

本研究では，ディスプレイを用いて脈波センサに脈波550データを計測させる手法を実現するために，ディスプレイ500の色調を変化させることで，脈波センサの取得値を意図的450に操作することが可能であるか調査した．予備実験とし

400
350

色を出力することができるような識別モデルを構築する．て，事前に被験者 1 人から実際の脈波データを収集してお01000

図 2value < θ1Time [ms]3000

40005000(θ1 = 465, θ2 = 685)

(θ2 = 685)

き，そのデータから値に応じた色調をディスプレイに繰り返し表示しながら，ディスプレイ上に設置した脈波センサ脈波センサの取得値の変化(θ1 = 465)

θ1 ≤ value ≤ θ2
θ2 < value

2000からデータを取得した．予備実験の結果，ディスプレイ上(1)(2)の脈波センサからピークの存在するデータが取得できた．
この結果から，脈波データを計測させるためにディスプレイを用いるアプローチは有効であることが確認できた．

(3)

今後は，身体部位から取得された実際の脈波データを，式 1 を満たす場合は R:150, G:19, B:20，式 2 を満たす場ディスプレイを用いて再現する機構を実装する．そのため

合は R:157, G:26, B:27，式 3 を満たす場合は R:156, G:25,には，自動でディスプレイの色調を決定していく必要があ

B:26 で表現される色を表示する．また，1 サンプルを読みるため，適切な識別モデルを設計していく．

込み，色を表示するごとに 10ms の遅延を挟んだ．

謝辞 本研究は，科学技術振興機構戦略的創造研究推進事業さきがけ（JPMJPR1937）の支援を受けたものである．

3.3 結果と考察

ここに記して謝意を表す．

取得された脈波データを，最初のピークから 5 秒間切り出した結果を図 2 に示す．結果から，ピークを生成でき参考文献ていることが確認できる．したがって，ディスプレイを使[1]用するアプローチは有効だといえる．しかしながら，ピークの位置や値に違いが見られる．これは，ディスプレイ制御の開始時刻とセンサ値の取得の開始時刻を同期していな[2]かったことや，サンプルの処理ごとの遅延を 10ms に固定していたことが影響したと考えられる．

4. 今後

[3]

予備実験の結果から，ディスプレイを用いて脈波センサに脈波を計測させることができることを確認した．今後は実環境での使用を想定して，身体部位から得られた実際の脈波データを入力することで，ディスプレイ上に設置した脈波センサに同一のデータを計測させる機構を実装する．
この機構の想定を図 3 に示す．実現するには，ディスプレ© 2021 Information Processing Society of Japan[4]

今井龍一, 神谷大介, 井上晴可, 田中成典, 櫻井淳. スマー
トウォッチを用いた疲労度検出の試行に関する研究. 日本
知能情報ファジィ学会 ファジィ システム シンポジウム
講演論文集, Vol. 34, pp. 407–408, 2018.
Jooyeun Ham, Jonggi Hong, Youngkyoon Jang, Seung Hwan Ko, and Woontack Woo. Smart wristband:
Touch-and-motion–tracking wearable 3d input device forsmart glasses. In Distributed, Ambient, and Pervasive
Interactions, pp. 109–118, 2014.
J. Hernandez, Y. Li, J. M. Rehg, and R. W. Picard.
Bioglass: Physiological parameter estimation using ahead-mounted wearable device. In 2014 4th International Conference on Wireless Mobile Communicationand Healthcare - Transforming Healthcare Through Innovations in Mobile and Wireless Technologies (MOBIHEALTH), pp. 55–58, 2014.
A. Nishajith, J. Nivedha, S. S. Nair, and J. Mohammed
Shaﬃ. Smart cap - wearable visual guidance systemfor blind. In 2018 International Conference on Inven-477

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

[5]

[6]

[7]

[8]

[9]

[10]

3A10
2021/3/10

tive Research in Computing Applications (ICIRCA),
pp. 275–278, 2018.
A. Vahdatpour, N. Amini, and M. Sarrafzadeh. On-bodydevice localization for health and medical monitoring applications. In 2011 IEEE International Conference onPervasive Computing and Communications (PerCom),
pp. 37–44, 2011.
Timo Sztyler, Heiner Stuckenschmidt, and Wolfgang
Petrich. Position-aware activity recognition with wearable devices. Pervasive and Mobile Computing, Vol. 38,
pp. 281 – 295, 2017.
Kai Kunze, Paul Lukowicz, Holger Junker, and GerhardTröster. Where am i: Recognizing on-body positions ofwearable sensors. In Location- and Context-Awareness,
pp. 264–275, 2005.
Kazuki Yoshida and Kazuya Murao. Estimating load positions of wearable devices based on diﬀerence in pulse
wave arrival time. In Proceedings of the 23rd International Symposium on Wearable Computers (ISWC), p.
234–243, 2019.
S. Spinsante, S. Porﬁri, and L. Scalise. Accuracy ofheart rate measurements by a smartwatch in low intensity activities. In 2019 IEEE International Symposium
on Medical Measurements and Applications (MeMeA),
pp. 1–6, 2019.
Dong Han, Syed Khairul Bashar, Fahimeh Mohagheghian, Eric Ding, Cody Whitcomb, David D. McManus, and Ki H. Chon. Premature atrial and ventricular contraction detection using photoplethysmographic
data from a smartwatch. Sensors (Basel, Switzerland),Vol. 20, No. 19, p. 5683, 2020.

© 2021 Information Processing Society of Japan478