WISS 2017

Pulse shot:心拍情報を用いた写真撮影システムおよび検索システム
大下隼人*

瀬川典久*

概要． 現在，デジタルカメラ，スマートフォンの出現により，写真をどこでも簡単に撮影することが可能となった．また，写真の保存方法がデジタル化されていることにより，デバイス上に大量に保持することが可能になっている．これらのことから，写真を見て，思い出の振り返りを行いたいときに，大量に保持された写真の中から探すことが求められている．本研究では，脈波計で得られた心拍情報を活用する撮影システムのプロトタイプ開発及び，心拍情報を活用した検索システムのプロトタイプの開発を行う．撮影システムは，ウェアラブルデバイスに備わっている脈波計とスマートフォンの写真撮影機能を連携することで実装した．検索システムは，心拍情報が埋め込まれた画像データを用い，心拍情報を検索キーとして用いる仕組みを提供することで実装した．

1

はじめに

近年，デジタルカメラ，スマートフォンの出現により，写真を撮ることが，誰でも手軽に行えるようになった．さらに，写真の保存方法がデジタル化されていることにより，写真をデータとして大量に保持することも可能になった．
特に，最近のスマートフォンの内蔵フラッシュメモリのサイズが，128GByte 以上になり，ユーザがスマートフォンに保存する写真の枚数が 1000 枚を超えることが珍しくなくなり，ユーザは写真を選び出すのに工夫が必要になっている．
本研究では，写真のメタデータとして，生体情報の一種である，心拍情報を用いることを提案する．
一般に心拍情報は，生体的な情報だけでなく，ストレス検出や心理的な情報の検出が可能なことが知られている[1,2]． よって，心拍情報を写真のメタデータに埋め込むことで，写真撮影時の生体的，心理的な情報を検索，管理に活用することが可能になると考えられる．また， Apple 社の Apple Watch に代表されるようにウェアラブル機器を用いることで心拍データをいつでもどこでもリアルタイムに取得することが可能になり，写真撮影時にその情報をメタデータとして埋め込むことが可能になっている．
本稿では，脈波計で得られた心拍情報を埋め込む撮影システムのプロトタイプ開発及び，心拍情報を検索に活用した検索システムのプロトタイプの開発を行う． 以下，２章で関連研究を述べる。その後,３章でシステム設計について，４章でシステム実装について述べ，５章にまとめと今後の課題について述べる．
Copyright is held by the author(s).
* 京都産業大学

2

心拍利用による関連研究

写真，動画などの映像メディアと生体情報を組み合わせた研究として，Shirokura[3]，橋爪[4]がある．
Shirokura[3]らは，ビデオ撮影時にユーザの感情反応をキャプチャし，そのデータを他のユーザと共有する手段を提供するモバイルビデオカメラアプリケーションの開発をした．本研究は，モバイル上でユーザ情報を埋め込むという点では，同様であるが，記録フォーマットとユーザ情報に用いた生体情報が異なるという点が違いである．
橋爪[4]らは，撮影時にカメラと複数のセンサを用いて風景の音，湿度などの周辺環境情報とユーザの心理状態を取得し，撮影時における撮影者の体験取得を行う”exPhoto”の開発を行った．本研究は，写真メディアによる体験の記録とその再現を目的にしているという点で異なる．

3

システム概要本章では，本研究を実現するためのシステム構成について述べる．
本システムでは，ウェアラブルデバイスにより取得された心拍数を撮影時に保存される写真の中に埋め込む撮影システムとそのシステムによって撮影された写真を利用した検索システムの２つのシステムで構成される．これらの構成システムの概要図として，図１に示す．
システムの概要として，スマートフォン上に撮影システム，検索システム，２つのシステムが存在する．
撮影システムは，通常の写真撮影機能にウェアラ
ブルデバイスから送られる心拍情報を受け取り，メWISS 2017タデータとして心拍情報を埋め込む機能を持つ．
検索システムは，心拍情報がメタデータとして埋め込まれた写真を写真ライブラリから，心拍情報を検索キーとして，ユーザが取得したい写真を取り出す．
スマートフォン上では，撮影システムは，既存の写真ライブラリに保存を行う．検索システムは，既存の写真ライブラリにアクセスすることで，写真の検索を行う．既存の写真ライブラリを利用することで，既存写真アプリケーションに影響を与えることなく運用することが可能になる．

(1) 検索アプリケーション実行時，既存の写真ライブラリすべての写真を読み込み，その後表示を行う．
(2) ユーザは，検索アプリケーション上で，検索する日付，及び，検索タイプを選択する．その後，実行ボタンをタップし，検索実行をする．（図２）

図 2 検索システム実装図5

図 1 全体システム概要図

4システム実装

本章では，前章で説明した２つのシステムを実現するための実装について述べる．
２つのシステムは，3.1 章のシステム構成をもとに，プロトタイプの実装を行う．本プロトタイプでは， Apple Watch (Series 2)，iPhone 6s（iPhone6s，Apple）を用いて実装を行った．
具体的には，swift 言語を用いてシステムを実装している．
4.1

4.2

本稿では，新たに心拍情報を写真のメタデータに埋め込む撮影システム及び，そのメタデータを用いた写真検索システムのプロトタイプシステムを開発した．
今後の課題として，まず，検索システムにおける心拍情報の有効性，有用性を明らかにすることが必要だと考える．

参考文献
[1]

撮影システム実装

動作手順は、以下の通りになる．
(1) ユーザは，Apple Watch(Series 2)を着用している状態である．既存の心拍計測アプリ
ケーションを使用し，心拍の計測が可能な状態にする． 心拍取得部は、この心拍計測アプリケーションから心拍情報を受け取り，心拍ＤＢに心拍情報を書き込む．
(2) ユーザは，iPhone6s に実装した撮影アプリ
ケーション を開き，撮影可能な状態にする．
(3) 撮影システム内の「写真撮影」をタップすることで，心拍ＤＢから取得された心拍が画像の中に埋め込まれ，従来の写真アプリケーションに，保存される．
検索システム

動作手順は以下の通りである．

まとめと今後の課題

S. Akselrod, D. Gordon, F. Ubel, and D. Shannon,“Power spectrum analysis of heart rate fluctuation:a quantitative probe of beat-to-beat cardiovascularcontrol,” Science (80-. )., 1981.

[2]高津浩彰, 宗像光男, 小関修, 横山清子, 渡辺與作,
高田和之, “心拍変動による精神的ストレスの評価についての検討,” Trans. IEE, C, vol. 120, no. 1, pp.
104–110, 2000.

[3] Shirokura Takumi, Nagisa Munekata, and Tetsuo
Ono. "AffectiView: mobile video camera application
using physiological data." Proceedings of the 12th
International Conference on Mobile and top10 の写真を表示 Ubiquitous Multimedia. ACM, 2013.
[4]

橋爪克弥; 高汐一紀; 徳田英幸. exPhoto: 周辺環境とユーザの心理状態を記録・再現するデジタルフォト
メディアの構築. In: 人工知能学会全国大会論文集2008 年度人工知能学会全国大会 (第 22 回) 論文集.
社団法人 人工知能学会, 2008. p. 354-354.