ライフログ収集のためのセンサネットワークと画像ストリームのデータ処理ミドルウェアの構築
岩木 紗恵子1(指導教員：小口 正人)

はじめにapplication

今日の情報量の多さから, ユーザにとって本当に必要な情報の取捨選択が困難となっている. また, ライフス
タイルの多様化により個人の求める情報も多種多様となっている. そのような中で個々のユーザに適切な情報やアプリケーションを提供するためには, ライフログの取得が必要不可欠である. ライフログとは, 生活の記録をデジタルデータとして保存することである. ラ
イフログを取得し, 蓄積, 解析, 加工してそのデータを利用することにより, 個人のニーズに合わせた, より便利なアプリケーションの開発が見込まれる [1].

2

middleware↹௝3.1

ミドルウェアの構築

図 1: ミドルウェア概念図を取得することと, アプリケーションの実行に必要な品質の保証である. また, 画像とセンサデータを統合して用いるためには, カメラとセンサの正確な同期が必須である. そのため本研究では, このアプリケーションのミドルウェアとして, 動画とセンサの同期, カメラの画質の品質保証を行う.
઺൸ॿॵॺড‫ش‬ॡ਀ਠपযध੟धभॖথॱছॡ३ঙথभঢ়બऋખ಩‫ॲق‬ॖॼ঑ॵॡ‫ك‬ଁ় ঋॖ४॔থॿॵॺড‫ش‬ॡ੟पৌघॊੴ௙भ઀୹ਖ਼৒੥ટ੉ୁ৲

७থ१

本研究は, 大量に取得, 蓄積されたライフログの高度なデータ処理を行うアプリケーションのためのミドルウェアを構築することを目的とする. 具体的には, アプリケーションが要求するデバイス（カメラ, センサなど）のデータをデバイス等の能力も考慮したうえで,アプリケーションの要求する品質で返すシステムを構築する. このミドルウェアの概念図を図 1 に示す.
また, データ収集にネットワークを介する場合, アプリケーションが必要とするデータの品質とネットワークの品質の兼ね合いを考慮し, データの品質面, ネットワークの品質面の両方にとって最適なデータを収集し,アプリケーションに提供する. さらに, ネットワーク混雑時など様々な条件下において, アプリケーションの求めるデータ品質を保証することが可能なミドルウェアの構築を目標とする.

3.2

GPS䊤䉟䊐䊨䉫෼㓸䈱䊂䊋䉟䉴

近年のネットワークやデバイス技術の進歩により, ライフログのデータ取得は比較的容易になってきた. しかし, データを大量に貯められるようになった一方でそのデータを上手く使いきれていないのが現状である.
そこで, 大量に収集されたデータを有効に活用するためのプラットフォームとなるシステムが必要であると考えられる. ライフログを有効に活用するためには,最適な品質のデータを収集し, 適切に管理する必要がある.

研究内容

䊋䊷䉮䊷䊄㖸ჿടㅦᐲ

研究背景

3ᔅⷐ䈭䊂䊷䉺䉕ឭଏ䊂䊋䉟䉴,ຠ⾰䉕ⷐ᳞઺൸ਫ਼ด

図 2: 画像から人間の行動を言語化

4

実験概要

4.1

実験環境

センサノードは SunSPOT[2], カメラは IP ネット
ワークを通じて動画を送信できるネットワークカメラを使用する. 本実験では,Panasonic BB-HCM715 を使用した [3]. SunSPOT のプログラム開発は NetBeans
IDE 6.5.1 を使用し,Java で開発を進める. 画像処理には MicroSoft Visual C++ 2008 を開発用ソフトウェアとして使用し, 画像処理ライブラリ OpenCV1.1 を用いる. 加速度のデータを記録するデータベース（以下DB）には PostgreSQL8.4,JDBC には postgresql-8.4701.jdbc3 を使用した. ライフログの収集実験は, 後述のお茶の水女子大学が所有する実験住宅 Ocha House[4]で行う予定である.

アプリケーション例

アプリケーションの具体的な例として, お茶の水女子大学小林研究室で行われている「画像とセンサデータから人間の行動を言語化」する研究を取り挙げる. この概要を図 2 に示す. この研究はカメラからの画像とセンサデータを用い解析することで人の行動を言語化するもので, プライバシを考慮したライフログの収集や, 人の行動を検索キーとして画像を検索することが可能になる.
このアプリケーションからミドルウェアに要求されることは, 大量のデータから条件に合う適切なデータ

4.2

センサノードSunSPOTSunSPOT は,CPU 上で直接実行できる Java ベースのセンサアプリケーションを構築するための技術として, サン・ラボで開発された無線センサネットワークデバイスである. 加速度, 温度, 照度センサーと 8 個の13

3 色 LED が搭載されており,CPU 上で直接実行できる
Java ベースのアプリケーションを簡単に構築できる.
また,IEEE802.15 無線ネットワーク経由でセンサ間の無線通信が可能である.
4.3の情報を持つ DB に問合せを行い, その時刻の加速度を取得する. その後,DB から取得したファイル作成時刻と指定された時刻との差分フレーム数を計算し, そのフレームからの再生を行うことで, 指定時刻からの動画ファイルの再生を可能とするプログラムを作成した. 使用言語は C++である.
このようなシステムを構築することで, センサとカメラの画像の時刻による同期を可能とした.

ネットワークカメラ BB-HCM715

ネットワークカメラとは, 動画を IP ネットワークを通じて送信できるカメラの総称で, パソコンと直接 USBなどで接続して使用する Web カメラとは異なる.
本研究では,Panasonic 社の BB-HCM715 を使用した. このカメラで対応している方式は, H.264,MPEG4,MJPEG があり, 対応している解像度は,1280 ×960,640 × 480,320 × 240 である. BB-HCM715 はネットワークカメラとしては高解像度な 1280 × 960
で H.264 動画が動作し,100 万画素以上の解像度が必要なアプリケーションの要求にも応えられる.
実験住宅

avi
file

5.1

加速度センサ処理

x=0.05,y=0.02,z=0.98 ,2010-1-21,10:52:53,565
x=0.05,y=0.05,z=0.98 ,2010-1-21,10:52:53,666
x=-0.05,y=0.0,z=0.98 ,2010-1-21,10:52:53,857
x=-0.10,y=0.45,z=0.98 ,2010-1-21,10:52:53,857
x=0.11,y=0.03,z=0.98 ,2010-1-21,10:52:53,859
x=0.00,y=0.03,z=0.98 ,2010-1-21,10:52:53,999………

図 3: 同期システム

5.5

6

まとめと今後の課題

本研究では, アプリケーションのミドルウェアとして,加速度センサと動画ファイルの時刻による同期を行うプログラムを作成した. 今後はこのシステムをアプリケーションで実際に使用し, 品質に関する評価を行う.
画像の解像度の違いによるアプリケーションの品質の違いや, ネットワークカメラの使用時における有線と無線の品質の違いなどについて検証していく. また、アプリケーションの要求する QoS(Quality of Service)を探り, データの品質を保証するミドルウェアを構築していく.

カメラの動画処理

OpenCV では, ネットワークカメラへの直接的なアクセスはサポートされておらず, また, 画像のデータ処理を行うためにはオンラインでの処理よりもファイルに保存されたデータを処理するほうが汎用性が高いと考えられる. そのため, ネットワークカメラから取得されるブラウザ上の動画を動画キャプチャソフトでキャプチャし, AVI 形式で保存し, 画像ファイルを利用する手法を採用した.
今回の実験では,MPEG-4 の 320 × 240 の画像ストリームを,B’s 動画レコーダで, フレームレートは 10fps,コーデックは Microsoft MPEG-4 Video Codec V3 でキャプチャした AVI ファイルを使用した.
5.3

アプリケーションへの適応

本ミドルウェアより提供されたデータを, 前述の「画像とセンサデータから人間の行動を言語化」するアプリケーションに適用した. その結果, データを基に適切な言語化が行われることが確認できた.

SunSPOT から収集した x 軸方向,y 軸方向,z 軸方向の加速度データとその時の時刻を DB に収納するプログラムを作成した. 使用言語は Java である.
5.2

䌄䌂x=-0.10,y=0.45,z=0.98

お茶の水女子大学ユビキタスコンピューティング実験住宅（通称 Ocha House）は, 人間の生活に身近な住居において, 人間と情報環境が調和的に相互作用を行うための基盤技術の開発を目的として建てられた. 建物内にセンサを設置し, 人の居る場所を把握する実験や, 高齢者の介護に活かせる研究なども行われている.
2009 年度グッドデザイン賞を受賞した.

同期システム構築

䌄䌂SQL໧䈇ว䉒䈞Ocha House5↹௝䊐䉜䉟䊦䈫ᤨೞ䉕ᜰቯ
2010-1-21.avi,10:52:53,85720100121.avi, 2010-1-21, 10:50:45,140

20100122.avi, 2010-1-22, 9:50:30, 450
………

JDBC

4.4

䊶DB䈎䉌䊐䉜䉟䊦䈱䉺䉟䊛䉴䉺䊮䊒䉕ขᓧ䊶ᤨ㑆Ꮕಽ䉕⸘▚䊶ᜰቯᤨೞ䈎䉌䈱↹௝䉕ౣ↢

参考文献[1] 寺 田 眞 二, ラ イ フ ロ グ ビ ジ ネ ス, イ ン プ レ ス
R&D,2009

タイムスタンプ取得

ファイルのタイムスタンプを関数により取得し, ファ
イル名とファイル作成日時の管理を行う DB に構築するプログラムを作成した. このようにすることで, ファイルをコピーした際などにタイムスタンプが変わっても対応できるようにした.

[2] サン・マイクロシステムズ-Sun SPOT
http://jp.sun.com/products/software/sunspot/

5.4[4] OchaHouse - PukiWiki
http://ochahouse.com/[3] Panasonic BB-HCM715
http://panasonic.biz/netsys/netwkcam/lineup/hcm715.html

同期手順

カメラとセンサを同期させるために図 3 に示すシステムを構築した. まず, ユーザがファイル名とある時刻を指定すると, そのファイル名をもってファイルの情報を持つ DB にアクセスし、そのファイルのタイムスタンプを取得する. また, 指定した時刻をもって加速度[5] 岩木紗恵子, 村瀬勉, 小口正人:ライフログのためのセンサデータと画像ストリーム処理ミドルウェアの構築 (DEIM2010,2010 年 3 月発表予定)

14