WISS2016

S

生体情報とスマートフォンを連携した画像撮影システムの開発
大下隼人

瀬川典久

概要． 現在，デジタルカメラ，スマートフォンの出現により，写真を撮るということが，誰でも，手軽かつ簡単に撮影することが可能になった．そのことに加え，写真の保存方法がデジタル化されたことにより，写真をデータとして，多量に保持するようになった．これらのことから，写真を見て，思い出の振り返りを行いたい時に，大量に保持された写真を見返さなければならないという問題が発生する．
また，ウェアラブルデバイスの発達により，生体情報を利用することが比較的容易になった．しかし，未だにウェアラブルデバイスを身につけているユーザは多くない．本研究では，携帯端末での撮影で，生体情報を取得し，撮影した画像に情報を付与する撮影システムの開発を行う．

1

はじめに

近年，デジタルカメラ，スマートフォンの出現により，写真を撮るということが，誰でも，手軽かつ簡単に行えるようになった．それに加え，写真の保存方法がデジタル化されたことにより，写真をデータとして大量に保持することが可能になった．
これらのことから，人々は，写真を見返したい際に大量のデータの中から探すことをしなければならなくなる．そのため，写真を見返して，思い出に浸るということが難しくなり，大量に撮影されたデジタル写真のなかから，本当に見直したい写真を選ぶことが，非常に困難になる．
そのため，近年，GPS による位置情報の取得からどの場所で撮影したかという，撮影地を検索カテゴ
リーとした画像の検索や画像処理での顔識別による個人を特定した検索などが行われている．
本研究では、写真を検索するための情報として、生体情報を活用することを提案する。人が、撮影する時の、人の体温、心拍情報を写真に付与することで、検索時に「興奮状態」，「安静状態」に撮影した写真の抽出等、従来で行えなかった検索が可能になると考える．
現在，ウェアラブルデバイスの発達により，撮影時の心拍情報を取得することが比較的容易になった．
ウェアラブル脈波センサから心拍数検出の研究として，[1]のような研究がなされ，今日では，腕時計型ウェアラブルデバイスとして EPSON PS100[2]，Apple Watch[3]などの商品が存在する．これらは，Bluetooth 通信を用いて，その生体情報をスマートフォンのアプリケーションに取り込むことは容易でCopyright is held by the author(s).
京都産業大学ある．しかし，実際にそのようなデバイスを身につけているユーザの数は，非常に少ない[4]．
本論文では，携帯端末を手にし，撮影を行うことで，生体情報取得を行う撮影システムの開発を行う．
以下、本稿では、生体情報の活用手法について述べ、全体システムの提案および構築した撮影システムのプロトタイプについて述べる。

2

生体情報の活用手法

生体情報の活用法として，感情を生理的尺度から測定する方法を用いる．感情という概念は，曖昧であり，人によってとらえ方が異なる．そのため，感情について体系化を行った感情モデルに従い，感情の分類を行う．ここでは，ラッセルが提唱したラッセルの円環モデル[5]を用いる．
ラッセルの円環モデルとは，人間の感情を「快‐不快」，「覚醒-睡眠」の２次元で表わされる平面上に配置したモデルである．
ここで，心拍数は，驚き，興奮で上昇し，落ち着き，眠気で下降する．また，皮膚温度は，楽観的な気分で上昇，悲観的な気分で低下[6]することから，このモデルにおける，縦軸を心拍数，横軸を皮膚温度に該当させることができると考える．
そのため，本論文では，心拍数と皮膚温度を取得するためのデバイスの開発を行う．

3

システム構成本研究の全体システム構成として，携帯端末での撮影で，生体情報を取得し，撮影した画像に情報を付与する撮影システムとその画像から２章で述べたモデルを活用し，検索を行う検索システムで構成される（図１）．

WISS 2016(2) 利用者が，シャッターを押した瞬間に，最多で，過去 30 秒間の皮膚温度，心拍データから心拍値，皮膚温度を計算し，写真データの拡張領域（jpeg の ExifIFD フォーマット）に埋め込む．
(3) 撮影終了後，保存のため，検索システム側に写真データが自動的に送信される．
図 1．システム構成図

3.1

撮影システム構成

本論文におけるデバイスのプロトタイプとして，スマートフォンを手にするだけで，心拍，皮膚温度を取得できるようにするためにセンサ部をスマートフォンケースに取り付け実装する．本プロトタイプ
で は ， 心 拍 セ ン サ (SEN-11574 ， Spark funElectronics)，温度センサ(高精度ＩＣ温度センサ
LM35DZ，National Semiconductor)，Bluetooth Low
Energy(BLE)の開発ボード BLE Nano（BLE Nano，Read Bear Lab）
，iPhone 5（iPhone5，Apple）を用いる．
BLE Nano は BLE の 機 能 が 内 蔵 さ れ た
nRF51822 という ARM CPU と、電源のレギュレータや無線アンテナなどを 1 枚の基板に載せたマイコンボードで，ワンチップ上にすべて搭載されているため外付け BLE モジュールと通信している開発ボートよりも細かい機能を利用することができるため自由度のある開発を行うことが可能である．
また，本開発ボードを用いる理由として，今後，ウェアラブルデバイスが普及し，ウェアラブルデバ
イスによる皮膚温度，心拍数の取得が可能になった場合を想定し，本開発ボードを使用する．センサ部のシステムとして，BLENano，心拍センサ，温度センサを使用する.センサ部の開発環境として，Arduino IDE 用のプラグインをインストールし，Arduino 上で開発を行う．
撮影専用アプリは、一般的な写真撮影アプリに、BLENano で取得した生体情報を受信し、写真にその情報を埋め込む機能を持つ。撮影専用アプリは、Apple の swift 開発環境上で構築され、iPhone5 以降、iOS8 以降で動作する。
3.2

撮影システム概要

本システムは，生体情報を取得，撮影機能のあるデバイスに送信するセンサ部，生体情報を受け取り，撮影時にその生体情報を写真に添付するアプリケーション部に分かれる．
動作手順は、以下の通りになる．
(1) 利用者が本システムを携帯したと同時に，温度センサ，心拍センサから，皮膚温度，心拍を計測する．

4

まとめと今後の課題

本稿では、生体情報とスマートフォンを連携した画像撮影システムの開発を行った．
今後の課題として，以下の課題がある．
まず，本システムによって撮影された画像から，２章で述べたモデルを用い，感情カテゴリー分けを行うアルゴリズムの開発，検証を行う必要がある．
次に，検索システムのシステム構築を行う必要がある．
最後に，本システムと検索システムを統合させたシステムを用い，システムの有意性についての実験を行っていく必要がある

参考文献[1] 木村禎祐; 大崎理江; 岩田彰. ウェアラブル脈波セン
サと心拍数検出アルゴリズム. 電子情報通信学会技術研究報告. MBE, ME とバイオサイバネティック
ス, 2000, 100.350: 43-49.2000.
[2] EPSON :PS100
http://www.epson.jp/products/pulsense/ps100/(2016/10/14 確認)[3] Apple Watch :http://www.apple.com/jp/watch/ (2016/10/14 確認)[4] 総務省,平成 27 年版情報通信白書,ウェアラブルデバ
イスの市場動向
http://www.soumu.go.jp/johotsusintokei/whitepape
r/ja/h27/html/nc241140.html(2016/10/14 確認)[5] RUSSELL, James A. Evidence of convergentvalidity on the dimensions of affect. Journal ofpersonality and social psychology, 1978, 36.10:
1152.
[6] PICARD, Rosalind W.. ; VYZAS, Elias; HEALEY,Jennifer. Toward machine emotional intelligence:
Analysis of affective physiological state. IEEE
transactions on pattern analysis and machine
intelligence, 2001, 23.10: 1175-1191.